Je NVIDIA GeForce RTX 3070 Ti rychlejší než A100 pro doladění?

Odpověď

Hrubý výpočetní výkon NVIDIA GeForce RTX 3070 Ti dosahuje maxima 21.7 FP16 TFLOPS a 10.8 FP32 TFLOPS, s 608 GB/s paměťové propustnosti zásobující výpočetní jednotky. Architektura Ampere přináší tensorová jádra optimalizovaná pro BF16/FP16 / FP8 kombinovanou přesnost — formáty, které jsou nejdůležitější pro moderní transformery.

Skutečná propustnost tréninku modelů se na velkých dávkách blíží teoretickým maximům; menší dávky jsou omezeny pamětí. Pro nízkolatenční inferenci závisí počet tokenů za sekundu na transformerech jako Llama 70B silně na strategii kvantizace — FP8/INT8 odemykají výpočetní strop, FP16 je omezeno propustností.

Review full specs and related comparisons on the NVIDIA GeForce RTX 3070 Ti page.