Пропускная способность NVIDIA GeForce RTX 4070 при предварительном обучении — чего ожидать?

Ответ

NVIDIA GeForce RTX 4070 обеспечивает 29.1 TFLOPS FP16, 14.6 TFLOPS FP32 и питается от 12 ГБ видеопамяти с пропускной способностью 504 ГБ/с.

Бенчмарки: обучение LLM с смешанной точностью достигает почти пикового использования FLOPS при размерах пакетов, помещающихся в видеопамять; инференс LLM обычно находится в пределах 5-15% от теоретического потолка, ограниченного пропускной способностью, при авторегрессивном декодировании; модели диффузии показывают наибольший прирост по сравнению с более старыми ускорителями, где ускоренные ядра внимания суммируются с приростом вычислительной мощности.

The NVIDIA GeForce RTX 4070 page has the complete datasheet and side-by-side comparisons.