Поддерживает ли NVIDIA GB200 Superchip BF16 и FP8?

Ответ

Полный лист спецификаций NVIDIA GB200 Superchip содержит: поколение Blackwell, 384 ГБ HBM3e видеопамяти, пропускную способность памяти 16,000 ГБ/с, 4,500 TFLOPS FP16, 150 TFLOPS FP32, энергопотребление 2,700 Вт, выпущена в 2024.

Память обычно является ограничением для инференса крупных моделей в реальном времени — при 384 ГБ NVIDIA GB200 Superchip с лёгкостью справляется с моделями среднего размера трансформеров в FP16 и значительно большими моделями в FP8/INT8. Показатель пропускной способности 16,000 ГБ/с особенно важен для автогрессивного декодирования с ограничением по KV-кэшу, где пропускная способность памяти ограничивает количество токенов в секунду больше, чем вычислительная мощность.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.