Яка пікова продуктивність FP16 у NVIDIA GeForce RTX 3070?

Відповідь

Випущена в 2020, NVIDIA GeForce RTX 3070 є прискорювачем класу Ampere з 8 ГБ GDDR6, пропускною здатністю пам’яті 448 ГБ/с і обчислювальною потужністю 20.3 TFLOPS FP16. Пікова потужність FP32 становить 10.2 TFLOPS, а карта споживає до 220 Вт.

Практично це означає: достатньо VRAM для завантаження моделей у діапазоні приблизно 8 мільярдів параметрів у FP16 (більше з квантизацією), достатньо пропускної здатності, щоб уникнути голодування пам’яті в шарах уваги, і достатньо обчислень для тренування трансформерів з розмірами пакетів, що насичують сучасні оптимізатори.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.