Лучшие облачные провайдеры GPU с NVIDIA H100

Что такое NVIDIA H100 на самом деле

H100 — это ускоритель для дата-центров от NVIDIA, построенный на архитектуре Hopper, поколении, которое расположено между более старым Ampere A100 и более новым Blackwell. Это GPU, к которому обращаются большинство команд, когда им нужна серьёзная тренировка больших моделей или высокопроизводительный вывод без перехода на потребительские карты. При аренде инстанса H100 из приведённого выше сравнения вы арендуете специализированный ИИ-ускоритель, а не переоборудованную игровую видеокарту, и это определяет как его возможности, так и стоимость.

Ключевые аппаратные характеристики, важные для арендатора:

• Память: вариант SXM5 оснащён 80 ГБ HBM3, тогда как вариант PCIe использует HBM2e, также 80 ГБ в основной версии. Позднее обновление — H100 NVL — увеличивает ёмкость на карту. Большая и быстрая HBM — главная причина выбрать эту карту вместо вариантов с GDDR6.
• Пропускная способность памяти: HBM3 в варианте SXM5 обеспечивает около 3 ТБ/с, что значительно выше, чем у потребительских карт с GDDR6/GDDR6X. Пропускная способность, а не чистая производительность в FLOPs, обеспечивает питание больших слоёв трансформеров.
• Тензорные ядра и точности: тензорные ядра четвёртого поколения поддерживают FP16, BF16, TF32, INT8 и — новинка для Hopper — FP8. FP8 — ключевая функция для современных задач с большими языковыми моделями, примерно удваивающая пропускную способность по сравнению с FP16 на поддерживаемых ядрах при сохранении приемлемой точности при правильном масштабировании.
• Transformer Engine: Hopper сочетает аппаратную поддержку FP8 с программным обеспечением, которое динамически управляет точностью на каждом слое, поэтому производительность H100 при обучении и выводе трансформеров значительно превосходит предыдущее поколение на тех же моделях.
• Интерконнект: платы SXM5 используют четвёртое поколение NVLink и NVSwitch для высокоскоростных связей GPU с GPU внутри узла, тогда как карты PCIe полагаются на шину PCIe (с опциональными мостами NVLink на некоторых вариантах). Это очень важно для многокартовых задач.
• Класс энергопотребления: карта SXM5 потребляет примерно 700 Вт в корпусе сервера с 8 GPU; карта PCIe — около 350 Вт. Вы не платите напрямую за электроэнергию при аренде, но это объясняет, почему такие инстансы плотные, горячие и имеют соответствующую цену.

Для каких задач H100 действительно подходит

H100 оправдывает себя на задачах, ограниченных памятью и требующих высокой пропускной способности. Он отлично подходит для:

• Обучения и дообучения больших моделей: 80 ГБ HBM позволяют удерживать большие батчи и крупные части параметров на каждом GPU, а NVLink обеспечивает эффективное масштабирование на несколько GPU и узлов для параллельного обучения по данным и тензорам.
• Высокопроизводительного вывода LLM: FP8 и Transformer Engine делают его отличным для обслуживания больших языковых моделей при высоком объёме запросов, где важна скорость обработки токенов на доллар.
• Дообучения средних и больших моделей: полное дообучение и методы с эффективным использованием параметров на моделях с миллиардами параметров выполняются комфортно, тогда как карты с меньшим объёмом видеопамяти требуют агрессивного выгрузки данных.
• Научных и высокопроизводительных вычислений: высокая производительность FP64 (в отличие от потребительских карт, которые здесь намеренно слабые) делает его пригодным для симуляций и численных расчётов, а не только для ИИ.

H100 является избыточным для экспериментов с малыми моделями, лёгкого вывода компактных моделей, классического машинного обучения, ноутбуков и большинства задач рендеринга или визуализации — для них подойдут гораздо более дешёвые карты, и аренда H100 в таких случаях — это в основном пустая трата денег. Он редко бывает недостаточно мощным для работы на одном узле; основная причина перейти на что-то другое — необходимость в большем общем объёме памяти, чем может предоставить один узел с этими картами, или желание получить преимущества эффективности новейшего поколения.

SXM против PCIe — важность варианта при аренде

Это самый недооценённый момент при аренде. Платы SXM5 предлагают более высокую пропускную способность, полноценную NVLink/NVSwitch-сеть и более высокие устойчивые частоты, поэтому серьёзное многокартовое обучение почти всегда использует их. Карты PCIe дешевле в эксплуатации и подходят для вывода на одном GPU или небольших задач, но их межкартовые связи медленнее. Если в описании выше не указан вариант, уточните это перед запуском многокартового обучения.

Стоимость аренды, доступность и дефицит

В спектре стоимости облачных GPU H100 находится в верхнем сегменте — выше A100 и значительно выше потребительских карт, таких как RTX 4090 — хотя абсолютный верх заняли более новые устройства класса Blackwell. Поскольку точные тарифы постоянно меняются и зависят от провайдера, региона, срока обязательств и варианта, следует смотреть актуальные данные в приведённом сравнении, а не полагаться на фиксированные цифры. Несколько качественных моментов остаются неизменными:

• On-demand против spot: прерываемые или spot-инстансы H100 могут быть значительно дешевле on-demand, что подходит для обучения с контрольными точками и отказоустойчивого пакетного вывода, но рискованно для длительных одноразовых задач без хороших контрольных точек.
• Дефицит: поставки H100 исторически ограничены, поэтому доступность — не только цена — варьируется по регионам и провайдерам. Самое дешёвое предложение бесполезно, если в вашем регионе нет свободной мощности.
• Аренда на GPU или полный узел: многие провайдеры сдают в аренду отдельные H100, но лучшая многокартовая производительность достигается на полных 8-GPU NVLink-узлах; уточняйте, получаете ли вы доступ к части, одному GPU или полному узлу.
• Гранулярность тарификации: почасовая тарификация с почасовым минимумом выгодна для длительных запусков, а тарификация с поминутной или посекундной оплатой — для коротких дообучений и прерывистого вывода; подбирайте модель оплаты под характер вашей нагрузки.

Часто задаваемые вопросы

Сколько видеопамяти у облачного H100?

Основной H100 оснащён 80 ГБ высокоскоростной памяти — HBM3 в варианте SXM5 и HBM2e в варианте PCIe. Позднее обновление H100 NVL увеличивает ёмкость на карту. Всегда уточняйте точный вариант и объём памяти в описании выше, так как это определяет максимальный размер модели и батча, которые можно запускать без выгрузки.

Стоит ли арендовать H100 вместо A100?

Для обучения и вывода трансформеров обычно да: поддержка FP8 и Transformer Engine у Hopper обеспечивают существенно большую пропускную способность на GPU по сравнению с Ampere A100, что часто компенсирует более высокую почасовую ставку с точки зрения стоимости на токен или шаг. Для небольших или малопамятных задач, не использующих FP8, более дешёвый A100 или потребительская карта могут быть выгоднее.

Как выбрать между SXM5 и PCIe H100?

Выбирайте SXM5 для многокартового обучения и тесно связанных распределённых задач, поскольку его NVLink/NVSwitch-сеть и высокая пропускная способность лучше масштабируются между GPU. PCIe подходит и часто дешевле для вывода на одном GPU или небольших нагрузок. Если вариант не указан, уточните перед бронированием многокартового запуска.

Можно ли сэкономить на spot или прерываемых инстансах H100?

Да, прерываемые инстансы обычно значительно дешевле on-demand и хорошо подходят для обучения с частыми контрольными точками или пакетного вывода, допускающего перезапуск. Избегайте их для длительных задач без контрольных точек, где прерывание приведёт к потере оплаченного времени. Сравните оба режима оплаты в таблице выше.