Наскільки добре NVIDIA GB200 Superchip масштабується на кількох GPU?

Відповідь

Основні характеристики продуктивності NVIDIA GB200 Superchip: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 ГБ/с пропускної здатності, 384 ГБ VRAM.

У практичних бенчмарках: навчання моделі LLM з 7 млрд параметрів у FP16 з розумними розмірами пакетів зазвичай насичує обчислювальні ресурси раніше, ніж пропускну здатність; обслуговування в реальному часі тієї ж моделі зазвичай обмежене пропускною здатністю і відповідає показнику 16,000 ГБ/с. Бенчмарки генерації зображень методом дифузії розташовуються між цими двома — обчислювальні кроки інтенсивно використовують тензорні ядра, тоді як блоки уваги все ще торкаються пропускної здатності.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.