Какова пиковая производительность FP16 у NVIDIA RTX A5000?

Ответ

Выпущена в 2021, NVIDIA RTX A5000 — это ускоритель класса Ampere с 24 ГБ GDDR6, пропускной способностью памяти 768 ГБ/с и вычислительной мощностью 32.8 TFLOPS FP16. Пиковая производительность FP32 достигает 27.8 TFLOPS, а потребление энергии — до 230 Вт.

Практически это означает: достаточно видеопамяти для загрузки моделей примерно в диапазоне ~24 миллиардов параметров в FP16 (больше с квантизацией), достаточно пропускной способности, чтобы избежать «голодания» слоёв внимания, и достаточно вычислительной мощности для обучения трансформеров с размерами пакетов, которые насыщают современные оптимизаторы.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.