Какова пиковая производительность FP16 у NVIDIA GeForce RTX 3070?

Ответ

Выпущена в 2020, NVIDIA GeForce RTX 3070 — это ускоритель класса Ampere с 8 ГБ GDDR6, пропускной способностью памяти 448 ГБ/с и вычислительной мощностью 20.3 TFLOPS FP16. Пиковая производительность FP32 достигает 10.2 TFLOPS, а потребление энергии — до 220 Вт.

Практически это означает: достаточно видеопамяти для загрузки моделей примерно в диапазоне ~8 миллиардов параметров в FP16 (больше с квантизацией), достаточно пропускной способности, чтобы избежать «голодания» слоёв внимания, и достаточно вычислительной мощности для обучения трансформеров с размерами пакетов, которые насыщают современные оптимизаторы.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.