Является ли NVIDIA GH200 Superchip картой для дата-центров, профессиональной или потребительской?

Ответ

NVIDIA GH200 Superchip построена на архитектуре Hopper и поставляется с 96 ГБ HBM3 памяти с пропускной способностью 4,000 ГБ/с. Выпущена в 2023, карта обеспечивает 989 TFLOPS FP16 и 494.5 TFLOPS FP32 при TDP 700 Вт.

Для исследователей в области машинного обучения эти показатели переводятся в несколько практических ограничений: потолок видеопамяти диктует максимальный размер весов крупной языковой модели, которую можно загрузить (и максимальный размер пакета при заданной длине последовательности), а пропускная способность памяти устанавливает верхнюю границу для инференса с интенсивным вниманием. Вычислительная пропускная способность важна прежде всего для плотных матричных умножений — предварительного обучения, обучения с большими пакетами и диффузионных моделей.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.