Яка пікова продуктивність FP16 у NVIDIA RTX A5000?

Відповідь

Випущена в 2021, NVIDIA RTX A5000 є прискорювачем класу Ampere з 24 ГБ GDDR6, пропускною здатністю пам’яті 768 ГБ/с і обчислювальною потужністю 32.8 TFLOPS FP16. Пікова потужність FP32 становить 27.8 TFLOPS, а карта споживає до 230 Вт.

Практично це означає: достатньо VRAM для завантаження моделей у діапазоні приблизно 24 мільярдів параметрів у FP16 (більше з квантизацією), достатньо пропускної здатності, щоб уникнути голодування пам’яті в шарах уваги, і достатньо обчислень для тренування трансформерів з розмірами пакетів, що насичують сучасні оптимізатори.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.