Найкращі хмарні провайдери GPU з NVIDIA GH200

Що таке NVIDIA GH200 Grace Hopper Superchip насправді

GH200 — це не звичайна додаткова графічна карта. Це суперчіп, який об’єднує GPU класу H100 покоління Hopper від NVIDIA з 72-ядерним процесором Grace на базі Arm Neoverse в одному модулі, з’єднаному за допомогою NVLink-C2C — когерентного міжчіпового інтерконекту, що з’єднує CPU та GPU з набагато більшою пропускною здатністю, ніж стандартний слот PCIe. Коли ви орендуєте інстанс GH200 з наведеного вище порівняння, ви орендуєте весь цей пакет CPU+GPU, а не лише GPU, який додається до чужого хост-процесора.

Саме ця архітектура є ключовою. Оскільки процесор Grace і GPU Hopper мають спільний когерентний простір пам’яті через NVLink-C2C, GPU може звертатися до великого пулу пам’яті LPDDR5X CPU без звичайного вузького місця PCIe. Для робочих навантажень, де модель або набір даних виходить за межі власної високошвидкісної пам’яті GPU, це змінює те, що практично можна запускати на одному вузлі.

Обладнання, яке має значення при оренді

• Пам’ять GPU: GPU Hopper використовує HBM3 у початковій версії GH200 і HBM3e у варіанті з більшою ємністю. Ви побачите конфігурації з приблизно 96 ГБ HBM3 і близько 141 ГБ HBM3e на суперчіп — перевірте точну цифру у наведеному вище списку, оскільки обсяг пам’яті є найбільшим відмінним параметром між SKU GH200.
• Системна пам’ять: процесор Grace додає великий банк LPDDR5X (зазвичай близько 480 ГБ), когерентно доступний для GPU. У поєднанні з HBM один GH200 відкриває дуже великий уніфікований адресний простір — корисний для великих вбудовувань, кешів KV, а також для графових або рекомендованих робочих навантажень.
• Пропускна здатність пам’яті: HBM3/HBM3e забезпечує кілька терабайт на секунду для GPU, тоді як NVLink-C2C надає сотні ГБ/с когерентної пропускної здатності між CPU і GPU — приблизно вдесятеро більше, ніж PCIe 5.0 x16.
• Обчислювальна потужність і точність: як частина Hopper, GPU включає тензорні ядра четвертого покоління та Transformer Engine, з апаратною підтримкою FP8, BF16, FP16, TF32, INT8 і FP64. Особливо FP8 робить Hopper привабливим як для тренування великих мовних моделей, так і для високопродуктивного висновку.
• Масштабування з кількома GPU: модулі GH200 можна з’єднувати за допомогою NVLink і, у конструкціях типу NVL32, через NVLink Switch fabric, тому кілька суперчіпів поводяться ближче до одного великого акселератора, ніж до розрізненого кластера PCIe.
• Клас енергоспоживання та тепловіддачі: це модуль виключно для дата-центрів з високим TDP (зазвичай налаштовується до приблизно 1000 Вт включно з CPU). Він охолоджується рідинно або інтенсивно повітрям у хості, тому доступність пов’язана зі спеціалізованими хостами, а не з комерційними серверами.

Робочі навантаження, для яких GH200 справді підходить

GH200 виправдовує своє місце там, де когерентна пам’ять CPU-GPU і пропускна здатність HBM виконують реальну роботу:

• Висновок великих моделей і довгих контекстів: великі кеші KV і великі ваги виграють від поєднання HBM і додаткової пам’яті LPDDR5X Grace, що дозволяє одному вузлу обслуговувати моделі, які інакше потребували б розподілу на кілька окремих GPU.
• Тонке налаштування та тренування LLM: FP8 і BF16 через Transformer Engine роблять його потужним для тренування трансформерів і параметрично ефективного тонкого налаштування, особливо коли набори даних або стани оптимізатора вимагають багато пам’яті.
• Рекомендації, GNN і векторні робочі навантаження: усе, що передає великі таблиці або графи між пам’яттю CPU і GPU, безпосередньо виграє від когерентності NVLink-C2C.
• Високопродуктивні обчислення та наукові розрахунки: нативна підтримка FP64 і тісне зв’язування CPU-GPU підходять для симуляцій і конвеєрів аналітики даних, які поєднують скалярні обчислення CPU з ядрами GPU.

Це надмірність для експериментів з невеликими моделями, класичного тонкого налаштування комп’ютерного зору, яке комфортно вміщується в 24–48 ГБ, пакетних завдань, що не обмежені пам’яттю, і більшості реального часу висновку малих моделей — дешевша карта Ada або Ampere з ширшого каталогу буде там ефективнішою за вартістю. GH200 також погано підходить для графіки, ігор або візуалізації робочих станцій: він не має відеовиходів і створений для обчислень, а не для растеризації.

Контекст оренди: вартість, доступність і з чим порівнювати

GH200 знаходиться близько до вершини спектра вартості хмарних GPU, у тому ж преміальному сегменті, що й інстанси класу H100, оскільки ви платите за HBM, комплектний процесор Grace і високошвидкісний інтерконект. Пропозиція справді обмежена відносно попиту, тому він зазвичай доступний на AI-орієнтованих і спеціалізованих хостах, а не на кожній універсальній хмарі, і ємність на вимогу може бути розпродана. Ціни на спотові або переривчасті інстанси існують, але менш поширені і менш вигідні, ніж для старіших акселераторів. Для актуальних, специфічних для провайдера тарифів покладайтеся на наведене вище порівняння, а не на будь-яку фіксовану цифру, оскільки ціни змінюються і залежать від регіону та терміну зобов’язання.

Коли читаєте таблицю, враховуйте такі параметри:

• Ємність HBM (96 ГБ HBM3 проти ~141 ГБ HBM3e) — це визначає найбільшу модель, яку можна тримати в пам’яті.
• Доступність на вимогу, за резервуванням або спотова, а також мінімальне зобов’язання.
• Топологія інтерконекту для тренування на кількох вузлах (NVLink fabric проти звичайного Ethernet/InfiniBand між вузлами).
• Пропускна здатність сховища та плата за вихідні дані, що часто домінує у загальній вартості для тренувань з великими обсягами даних.
• Гранулярність білінгу (по секундах або годинах), якщо ваші завдання короткі або імпульсні.

Часті запитання

Чи є GH200 тим самим, що й H100?

Не зовсім. GH200 містить GPU Hopper, тісно пов’язаний з H100, але поставляється як суперчіп у поєднанні з 72-ядерним процесором Grace Arm і когерентним інтерконектом NVLink-C2C. Окремий H100 — це лише GPU, поєднаний з будь-яким x86 хостом, який надає провайдер, тому перевага GH200 полягає у тісно зв’язаному великому когерентному пулі пам’яті CPU-GPU.

Скільки пам’яті має GH200?

Це залежить від варіанту. GPU має приблизно 96 ГБ HBM3 або близько 141 ГБ HBM3e, а процесор Grace додає великий банк LPDDR5X (зазвичай близько 480 ГБ), до якого GPU має когерентний доступ. Підтвердіть точну цифру HBM у наведеному вище списку, оскільки вона варіюється залежно від SKU і є параметром, що обмежує розмір моделі.

Які точності підтримує GH200 для ШІ?

Як частина Hopper, він підтримує FP8, BF16, FP16, TF32, INT8 і FP64 через тензорні ядра четвертого покоління та Transformer Engine. FP8 є ключовою функцією для ефективного тренування великих моделей і високопродуктивного висновку.

Коли оренда GH200 не варта того?

Якщо ваша модель комфортно вміщується в 24–48 ГБ, ваше навантаження не обмежене пропускною здатністю пам’яті або вам потрібен лише реальний час висновку малих моделей, дешевший інстанс Ada або Ampere буде більш вигідним. GH200 окупається саме тоді, коли вузьким місцем є велика пам’ять, пропускна здатність HBM або когерентний рух даних CPU-GPU.