Облачные провайдеры GPU с прерывистыми / прерываемыми инстансами

Что такое спотовые и прерываемые GPU-инстансы

Спотовый или прерываемый GPU-инстанс арендуется из пула свободных мощностей провайдера с большой скидкой при одном важном условии: провайдер может в любой момент забрать машину, обычно с минимальным или без предупреждения. Аппаратное обеспечение идентично версии GPU по требованию — та же видеопамять, те же тензорные ядра, тот же интерфейс — но условия доступности отличаются. Вы покупаете вычислительные ресурсы дешево именно потому, что они могут быть прерваны. Каждый провайдер из приведённого выше списка, предлагающий спотовые или прерываемые мощности, реализует эту схему в той или иной форме, хотя названия различаются: spot, preemptible, interruptible, community или surplus инстансы — все описывают одну и ту же базовую идею.

Скидка существует потому, что дата-центры редко работают на 100% загрузки. Бездействующие GPU ничего не приносят, поэтому провайдеры продают этот резерв по цене значительно ниже стандартной и принимают, что могут забрать его в любой момент, когда клиент, платящий полную цену, захочет его использовать или когда изменятся их собственные планы. Для арендатора это означает, что заявленная экономия реальна, но сопровождается операционными обязательствами, которых нет при гарантированном использовании инстанса по требованию.

Почему прерываемое ценообразование важно для реальных рабочих нагрузок

Причина, по которой стоит понимать спотовую мощность, в том, что аренда GPU дорогая, а скидка на прерываемые инстансы часто достаточно велика, чтобы изменить экономическую целесообразность проектов. Но не каждая рабочая нагрузка выдерживает прерывание во время выполнения. Решающий фактор почти всегда — насколько хорошо ваша задача умеет сохранять контрольные точки и возобновлять работу.

• Отлично подходит: длительные тренировки и дообучение с сохранением контрольных точек на долговременное хранилище каждые несколько минут, крупные пакетные задачи инференса или эмбеддинга, офлайн-рендеринг, перебор гиперпараметров с независимыми испытаниями и любые конвейеры, уже построенные с учётом отказоустойчивости.
• Плохо подходит: инференс в реальном времени или с низкой задержкой для живых приложений, интерактивные сессии разработки, где потеря инстанса означает потерю несохранённой работы, и тесно синхронизированное обучение на нескольких GPU, которое не может корректно восстановиться при потере одного узла.

Ментальная модель проста: если потеря инстанса стоит вам лишь минут с момента последней контрольной точки, спот почти всегда правильный выбор. Если потеря стоит запроса, клиента или часов несохранённого состояния, премия за on-demand даёт спокойствие, за которое стоит платить.

Компромиссы, которые нужно учитывать

Прерывание — очевидная стоимость, но не единственная. Сравнивая провайдеров по этому параметру, учитывайте полную картину:

• Поведение при отзыве: некоторые провайдеры дают короткое предупреждение (обычно пару минут), чтобы ваша задача могла сохранить состояние и корректно завершиться; другие могут мгновенно отключить машину. Период предупреждения чрезвычайно ценен, так как позволяет инициировать финальную контрольную точку.
• Вариативность доступности: спотовые пулы меняются. Точный GPU, который вы хотите по заявленной цене, может быть недоступен в течение длительного времени, а самые востребованные ускорители отзываются активнее, чем старые или менее популярные карты.
• Хранилище, сохраняющееся после инстанса: если ваши контрольные точки хранятся только на локальном диске инстанса, прерывание их удалит. Спот безопасен только тогда, когда данные и контрольные точки находятся на постоянном или сетевом хранилище, которое переживает узел.
• Трение при перезапуске: после отзыва нужно заново получить мощность, заново загрузить образ контейнера и данные, и возобновить работу — поэтому время холодного старта и размер образа влияют на эффективную пропускную способность и стоимость.

Что проверить перед арендой спотовой мощности

Поскольку одно и то же слово может означать разное у разных провайдеров, используйте приведённое выше сравнение, чтобы уточнить детали, а не предполагать. Перед тем как запускать рабочую нагрузку на прерываемых инстансах, пройдите этот чек-лист:

• Окно предупреждения: предупреждает ли провайдер перед отзывом и какова длительность периода? Даже 30–120 секунд меняют подход к проектированию контрольных точек.
• Насколько агрессивны отзывы: забирают ли спотовые машины только при реальной нехватке ресурсов или и для рутинного ребалансирования? Частые отзывы при низкой нагрузке уменьшают экономию.
• Механизм контрольных точек: можно ли дешево записывать контрольные точки в долговременное объектное или сетевое хранилище и разумна ли стоимость выгрузки? Это самый важный фактор для безопасного использования спота.
• Автоматическое повторное получение: автоматически ли платформа ставит задачу в очередь и перезапускает её при возвращении мощности или это нужно делать вручную? Управляемая постановка в очередь делает спот гораздо менее трудоёмким.
• Поведение при работе с несколькими GPU и узлами: если вам нужно несколько GPU вместе, потеря одного может остановить всю задачу. Проверьте, может ли провайдер удерживать группу атомарно или предлагает только спот на один GPU.
• Гранулярность биллинга: биллинг по секундам или минутам хорошо сочетается со спотом, так как вы платите только за фактическое время работы до отзыва, а не округление вверх.

Практическая схема, которую используют многие команды — это гибридная конфигурация: запускать основную часть ориентированной на пропускную способность, способной сохранять контрольные точки работы на споте, получая скидку, и при этом держать небольшой on-demand парк для задач, чувствительных к задержкам или состоянию. Такое сочетание позволяет получить большую часть экономии, не подвергая риску те части конвейера, которые действительно не переносят прерывания.

Часто задаваемые вопросы

Потеряю ли я работу, если спотовый GPU-инстанс отзовут?

Вы потеряете только состояние, которое существует исключительно на инстансе в момент отзыва — включая несохранённый прогресс и всё, что на локальном диске. Вы не потеряете работу, которую уже записали в долговременное или сетевое хранилище. Поэтому частое сохранение контрольных точек в надёжное хранилище — ключевая практика безопасного использования спота; при хорошем чекпоинтинге вы теряете максимум несколько минут с момента последнего сохранения.

Отличается ли аппаратное обеспечение GPU в спотовых и on-demand инстансах?

Нет. Спотовые и on-demand инстансы используют одно и то же физическое оборудование, поэтому GPU, его видеопамять, тензорные ядра и интерфейс идентичны. Единственное отличие — условия контракта по доступности и цене: спот дешевле, но прерываемый, on-demand дороже и не отзывается. Вы платите за гарантированную непрерывность, а не за более быструю микросхему.

Сколько можно сэкономить на спотовых инстансах по сравнению с on-demand?

Скидка обычно существенная и является главной причиной выбора прерываемой мощности, но точная величина зависит от провайдера, модели GPU, региона и текущего спроса и постоянно меняется. Вместо того чтобы полагаться на одно число, смотрите актуальное сравнение выше для конкретного GPU, который вас интересует.

Какие рабочие нагрузки никогда не стоит запускать на спотовых инстансах?

Избегайте спота для всего, что не может пережить внезапное исчезновение: живой инференс с низкой задержкой для продакшен-приложения, интерактивные сессии с несохранённой работой и тесно связанные мульти-GPU задачи, которые не восстанавливаются при потере узла. Для них премия on-demand оправдана. Всё, что умеет корректно сохранять контрольные точки и переносит перезапуски — тренировки, дообучение, пакетный инференс, рендеринг и переборы — отлично подходит для спота.