Jaký je maximální výkon FP16 u NVIDIA GeForce RTX 3070?

Odpověď

Uvedeno na trh v 2020, NVIDIA GeForce RTX 3070 je akcelerátor třídy Ampere s 8 GB GDDR6, 448 GB/s paměťové propustnosti a 20.3 FP16 TFLOPS výpočetního výkonu. FP32 dosahuje maxima 10.2 TFLOPS a karta spotřebovává až 220W.

V praktickém smyslu: dostatek VRAM pro načtení modelů v rozsahu přibližně 8 miliard parametrů ve FP16 (větší s kvantizací), dostatečná propustnost, aby se zabránilo hladovění paměti u vrstev pozornosti, a dostatečný výpočetní výkon pro trénink transformerů s dávkami, které saturují moderní optimalizátory.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.