Найкращі постачальники хмарних GPU з NVIDIA H100

Що насправді таке NVIDIA H100

H100 — це прискорювач для дата-центрів від NVIDIA, побудований на архітектурі Hopper, поколінні, що розташоване між старішими Ampere A100 та новішими Blackwell. Це GPU, до якого більшість команд звертаються, коли їм потрібне серйозне навчання великих моделей або високопродуктивне виведення без переходу на споживчі карти. Коли ви орендуєте інстанс H100 з наведеного вище порівняння, ви орендуєте спеціалізований AI-прискорювач, а не переобладнаний ігровий GPU, і це визначає як його можливості, так і вартість.

Ключові апаратні характеристики, що мають значення для орендаря:

• Пам’ять: варіант SXM5 оснащений 80 ГБ HBM3, тоді як PCIe-варіант використовує HBM2e, також 80 ГБ у звичайній версії. Пізніше оновлення, H100 NVL, збільшує обсяг пам’яті на карту. Велика і швидка HBM — це найголовніша причина вибрати цю карту замість варіантів на основі GDDR6.
• Пропускна здатність пам’яті: HBM3 у варіанті SXM5 забезпечує приблизно 3 ТБ/с, що значно перевищує показники споживчих карт GDDR6/GDDR6X. Саме пропускна здатність, а не сирі FLOPs, забезпечує живлення великих шарів трансформера.
• Тензорні ядра та точності: тензорні ядра четвертого покоління підтримують FP16, BF16, TF32, INT8 і — нове для Hopper — FP8. FP8 — це ключова особливість для сучасних робочих навантажень LLM, що приблизно подвоює пропускну здатність у порівнянні з FP16 на підтримуваних ядрах, при цьому зберігаючи прийнятну точність за правильного масштабування.
• Transformer Engine: Hopper поєднує апаратне забезпечення FP8 із програмним забезпеченням, яке динамічно керує точністю на рівні шару, тому пропускна здатність H100 при навчанні та виведенні трансформерів може значно перевищувати показники попереднього покоління на тій самій моделі.
• Інтерконект: плати SXM5 використовують четверте покоління NVLink і NVSwitch для високошвидкісних зв’язків GPU-до-GPU всередині вузла, тоді як PCIe-карти покладаються на шину PCIe (з опційними NVLink-мостами на деяких варіантах). Ця відмінність має велике значення для багатокарткових завдань.
• Клас споживаної потужності: карта SXM5 — це приблизно 700 Вт у шасі сервера з 8 GPU; PCIe-карта має нижче споживання, близько 350 Вт. Ви не сплачуєте рахунок за електроенергію безпосередньо при оренді, але це пояснює, чому такі інстанси щільні, гарячі та відповідно оцінені.

Для яких робочих навантажень H100 справді підходить

H100 виправдовує себе на завданнях, обмежених пам’яттю та потребуючих високої пропускної здатності. Він добре підходить для:

• Навчання та донавчання великих моделей: 80 ГБ HBM дозволяють утримувати більші батчі та більші частини параметрів на GPU, а NVLink робить масштабування з багатьма GPU та вузлами ефективним для паралельного навчання за даними та тензорами.
• Високопродуктивне виведення LLM: FP8 і Transformer Engine роблять його відмінним для обслуговування великих мовних моделей при високому обсязі запитів, де важливі токени за секунду на долар.
• Донавчання середніх і великих моделей: повні донавчання та методи ефективного налаштування параметрів на моделях з багатомільярдними параметрами комфортно поміщаються там, де карти з меншою VRAM змушують застосовувати агресивне вивантаження.
• Наукові та ВВЧ обчислення: висока продуктивність FP64 (на відміну від споживчих карт, які тут навмисно слабкі) робить його придатним для симуляцій та чисельних задач, а не лише для AI.

Для експериментів з невеликими моделями, легкого виведення компактних моделей, класичного машинного навчання, ноутбуків і більшості задач рендерингу чи візуалізації він є надмірним — для них цілком підходять набагато дешевші карти, і оренда H100 для таких задач здебільшого марна трата грошей. Він рідко буває недостатньо потужним для роботи на одному вузлі; основною причиною перейти на інше рішення є потреба в більшій сумарній пам’яті, ніж може надати один вузол із цими картами, або бажання отримати переваги ефективності нового покоління.

SXM проти PCIe — варіант, який ви орендуєте, має значення

Це найчастіше упущена деталь при оренді. Плати SXM5 пропонують вищу пропускну здатність, повну NVLink/NVSwitch мережу та вищі стабільні тактові частоти, тому серйозне багатокарткове навчання майже завжди використовує їх. PCIe-карти дешевші в експлуатації і підходять для виведення на одному GPU або менших завдань, але їхні міжкарткові зв’язки повільніші. Якщо у наведеному вище списку не вказано варіант, поставте це питання перед тим, як починати багатокарткове навчання.

Вартість оренди, доступність і дефіцит

У спектрі вартості GPU в хмарі H100 розташований близько до вершини — вище за A100 і значно вище за споживчі карти, як RTX 4090 — хоча його вже витіснило новіше обладнання класу Blackwell. Оскільки точні тарифи постійно змінюються і залежать від провайдера, регіону, терміну зобов’язання та варіанту, слід дивитися актуальні цифри у наведеному вище порівнянні, а не довіряти фіксованим значенням. Декілька якісних моментів залишаються сталими:

• On-demand проти spot: переривна або spot-ємність H100 може бути значно дешевшою за on-demand, що підходить для навчання з контрольними точками та стійкого до збоїв пакетного виведення, але ризикована для довготривалих одноразових завдань без належного збереження стану.
• Дефіцит: постачання H100 історично було обмеженим, тому доступність — не лише ціна — варіюється за регіонами та провайдерами. Найдешевша пропозиція марна, якщо ємність у вашому регіоні вичерпана.
• Оренда на GPU чи на повний вузол: багато провайдерів здають в оренду окремі H100, але найкраща багатокарткова продуктивність досягається на повних вузлах з 8 GPU NVLink; перевірте, чи отримуєте ви частковий, одиночний чи повний доступ до вузла.
• Гранулярність оплати: оплата за секунду або хвилину вигідна для коротких донавчань і спорадичного виведення; погодинні мінімуми підходять для тривалих запусків. Підбирайте модель оплати під свій тип навантаження.

Поширені запитання

Скільки VRAM має хмарний H100?

Основний H100 має 80 ГБ високошвидкісної пам’яті — HBM3 у варіанті SXM5 і HBM2e у варіанті PCIe. Пізніше оновлення H100 NVL збільшує обсяг пам’яті на карту. Завжди уточнюйте точний варіант і обсяг пам’яті у наведеному вище списку, оскільки це визначає найбільшу модель і розмір батчу, які можна запускати без вивантаження.

Чи варто орендувати H100 замість A100?

Для навчання та виведення трансформерів зазвичай так: підтримка FP8 і Transformer Engine у Hopper забезпечують суттєво вищу пропускну здатність на GPU, ніж Ampere A100, що часто компенсує вищу погодинну вартість з точки зору вартості за токен або крок. Для невеликих або малопам’ятних завдань, які не використовують FP8, дешевший A100 або споживча карта можуть бути кращим вибором.

Який варіант обрати — SXM5 чи PCIe H100?

Обирайте SXM5 для багатокарткового навчання та тісно пов’язаних розподілених завдань, оскільки його NVLink/NVSwitch мережа і вища пропускна здатність значно краще масштабується між GPU. PCIe підходить і часто дешевший для виведення на одному GPU або менших навантажень. Якщо варіант не вказано, запитайте перед бронюванням багатокарткового запуску.

Чи можна заощадити, орендуючи spot або переривні інстанси H100?

Так, переривна ємність зазвичай значно дешевша за on-demand і добре підходить для навчання з частими контрольними точками або пакетного виведення, що допускає перезапуски. Уникайте її для довгих завдань без збереження стану, де вилучення посередині запуску призведе до втрати годин оплачуваних обчислень. Порівняйте обидва режими ціноутворення у таблиці вище.