Jaký je maximální výkon FP16 u NVIDIA RTX A5000?

Odpověď

Uvedeno na trh v 2021, NVIDIA RTX A5000 je akcelerátor třídy Ampere s 24 GB GDDR6, 768 GB/s paměťové propustnosti a 32.8 FP16 TFLOPS výpočetního výkonu. FP32 dosahuje maxima 27.8 TFLOPS a karta spotřebovává až 230W.

V praktickém smyslu: dostatek VRAM pro načtení modelů v rozsahu přibližně 24 miliard parametrů ve FP16 (větší s kvantizací), dostatečná propustnost, aby se zabránilo hladovění paměti u vrstev pozornosti, a dostatečný výpočetní výkon pro trénink transformerů s dávkami, které saturují moderní optimalizátory.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.