Пропускная способность NVIDIA GeForce RTX 5080 при предварительном обучении — чего ожидать?

Ответ

NVIDIA GeForce RTX 5080 обеспечивает 56 TFLOPS FP16, 28 TFLOPS FP32 и питается от 16 ГБ видеопамяти с пропускной способностью 960 ГБ/с.

Бенчмарки: обучение LLM с смешанной точностью достигает почти пикового использования FLOPS при размерах пакетов, помещающихся в видеопамять; инференс LLM обычно находится в пределах 5-15% от теоретического потолка, ограниченного пропускной способностью, при авторегрессивном декодировании; модели диффузии показывают наибольший прирост по сравнению с более старыми ускорителями, где ускоренные ядра внимания суммируются с приростом вычислительной мощности.

The NVIDIA GeForce RTX 5080 page has the complete datasheet and side-by-side comparisons.