Подходит ли NVIDIA GH200 Superchip для промышленного вывода?

Ответ

Краткий ответ: NVIDIA GH200 Superchip работает на 989 FP16 TFLOPS с пропускной способностью памяти 4,000 ГБ/с. Более длинный ответ зависит от того, что вы запускаете.

Для плотного обучения FP16 с большими пакетами NVIDIA GH200 Superchip насыщает тензорные ядра и обеспечивает пропускную способность, близкую к пиковым FLOPS. Для обслуживания с ограничением по памяти на моделях с длинным контекстом пропускная способность памяти доминирует — показатель 4,000 ГБ/с важнее, чем заголовочные TFLOPS. Для научных вычислений релевантным числом является FP32 с 494.5 TFLOPS, что ставит NVIDIA GH200 Superchip в соответствие с ожиданиями HPC для его класса Hopper.

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.