Аренда NVIDIA GH200 Superchip в облаке

NVIDIA GH200 Superchip построена на архитектуре Hopper и поставляется с 96 ГБ HBM3 памяти с пропускной способностью 4,000 ГБ/с. Выпущена в 2023, карта обеспечивает 989 TFLOPS FP16 и 494.5 TFLOPS FP32 при TDP 700 Вт.

Для исследователей в области машинного обучения эти показатели переводятся в несколько практических ограничений: потолок видеопамяти диктует максимальный размер весов крупной языковой модели, которую можно загрузить (и максимальный размер пакета при заданной длине последовательности), а пропускная способность памяти устанавливает верхнюю границу для инференса с интенсивным вниманием. Вычислительная пропускная способность важна прежде всего для плотных матричных умножений — предварительного обучения, обучения с большими пакетами и диффузионных моделей.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.

Краткий ответ: NVIDIA GH200 Superchip работает на 989 FP16 TFLOPS с пропускной способностью памяти 4,000 ГБ/с. Более длинный ответ зависит от того, что вы запускаете.

Для плотного обучения FP16 с большими пакетами NVIDIA GH200 Superchip насыщает тензорные ядра и обеспечивает пропускную способность, близкую к пиковым FLOPS. Для обслуживания с ограничением по памяти на моделях с длинным контекстом пропускная способность памяти доминирует — показатель 4,000 ГБ/с важнее, чем заголовочные TFLOPS. Для научных вычислений релевантным числом является FP32 с 494.5 TFLOPS, что ставит NVIDIA GH200 Superchip в соответствие с ожиданиями HPC для его класса Hopper.

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.

Сценарии, в которых NVIDIA GH200 Superchip показывает хорошие результаты: Large-scale AI training, HPC. Его 96 ГБ видеопамяти, Hopper тензорных ядер и позиционирование data-center делают его подходящим для команд ИИ, которым нужна аппаратная платформа уровня облака без переплаты за новейшие ускорители.

Хорошее практическое правило: если ваша модель помещается в 96 ГБ видеопамяти при целевой точности, а ваша нагрузка ограничена пропускной способностью или вычислениями, а не памятью, NVIDIA GH200 Superchip скорее всего будет экономически выгоднее, чем переход на более высокий класс.

Review full specs and related comparisons on the NVIDIA GH200 Superchip page.