Jaka jest maksymalna wydajność FP16 NVIDIA RTX A5000?
Odpowiedź
Wydana w 2021, NVIDIA RTX A5000 to akcelerator klasy Ampere z 24 GB pamięci GDDR6, przepustowością pamięci 768 GB/s oraz mocą obliczeniową FP16 32.8 TFLOPS. FP32 osiąga szczyt 27.8 TFLOPS, a karta pobiera do 230W.
W praktyce: wystarczająca ilość VRAM, aby załadować modele w zakresie około ~24 miliardów parametrów w FP16 (więcej po kwantyzacji), wystarczająca przepustowość, aby uniknąć niedoboru pamięci w warstwach uwagi, oraz wystarczająca moc obliczeniowa do treningu transformerów przy rozmiarach partii saturujących nowoczesne optymalizatory.
The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.