Je NVIDIA GeForce RTX 3080 rychlejší než A100 pro doladění?

Odpověď

Hrubý výpočetní výkon NVIDIA GeForce RTX 3080 dosahuje maxima 29.8 FP16 TFLOPS a 14.9 FP32 TFLOPS, s 760 GB/s paměťové propustnosti zásobující výpočetní jednotky. Architektura Ampere přináší tensorová jádra optimalizovaná pro BF16/FP16 / FP8 kombinovanou přesnost — formáty, které jsou nejdůležitější pro moderní transformery.

Skutečná propustnost tréninku modelů se na velkých dávkách blíží teoretickým maximům; menší dávky jsou omezeny pamětí. Pro nízkolatenční inferenci závisí počet tokenů za sekundu na transformerech jako Llama 70B silně na strategii kvantizace — FP8/INT8 odemykají výpočetní strop, FP16 je omezeno propustností.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.