Облачные провайдеры GPU с постоянным хранилищем

Что означает постоянное хранилище при аренде облачного GPU

По умолчанию арендованный экземпляр GPU предоставляет рабочий диск, который существует и удаляется вместе с экземпляром. В момент остановки, уничтожения или прерывания работы на этой машине локальный диск очищается, и данные теряются.Постоянное хранилище разрывает эту связь: это том хранения, срок жизни которого не зависит от одного конкретного экземпляра GPU, поэтому ваши наборы данных, контрольные точки модели, среды conda и кэшированные веса сохраняются при выключении и подключаются к следующей запущенной машине. Все провайдеры из приведённого выше сравнения предлагают какую-то форму такого хранилища, но реализации отличаются настолько, что ответ “да” — это только начало объяснения.

На практике постоянное хранилище бывает двух основных видов. Первый — это сетевой том (блочное или файловое хранилище), который монтируется через внутреннюю сеть провайдера и может быть подключён к любому запущенному узлу GPU. Второй — это объектное хранилище (совместимые с S3 бакеты), из которого данные загружаются при запуске задачи и в которое отправляются результаты. Некоторые провайдеры также сохраняют постоянный домашний каталог на быстром локальном NVMe-накопителе, который не зависит от жизненного цикла вычислительного узла. Каждый из этих вариантов существенно отличается по пропускной способности, задержкам и способу интеграции в цикл обучения.

Почему это важно для реальных рабочих процессов с GPU

Причина, по которой стоит обращать внимание на постоянное хранилище, заключается в том, что время работы GPU — это дорогой ресурс, и вы не хотите тратить его на повторную загрузку и подготовку данных. Конкретно это влияет на следующие рабочие процессы:

• Длительные тренировки и дообучение записывают контрольные точки каждые несколько сотен шагов. Если эти контрольные точки хранятся только на временном диске, сбой или прерывание узла означает перезапуск с нуля. Постоянное хранилище позволяет возобновить работу с последней контрольной точки на новом GPU.
• Спотовые и прерываемые экземпляры становятся действительно применимыми. Вся экономия на дешёвых прерываемых GPU основана на возможности потерять узел, не потеряв при этом выполненную работу — это возможно только если состояние хранится на томе, срок жизни которого превышает срок жизни экземпляра.
• Большие наборы данных (многосотгигабайтные коллекции изображений, видео или токенов) неудобно загружать заново при каждом запуске. Постоянный том хранит подготовленные и распределённые данные, поэтому каждый новый сеанс начинается за секунды, а не после долгого копирования.
• Итеративная разработка выигрывает от стабильного домашнего каталога: ваша среда, установленные пакеты, кэшированные веса Hugging Face и ноутбуки остаются доступны на следующий день без необходимости пересобирать контейнер.
• Обслуживание инференса может хранить веса модели в “тёплом” состоянии на подключённом хранилище, чтобы масштабируемая копия загружалась быстро, а не тянула десятки гигабайт из удалённого бакета при холодном старте.

Компромиссы, которые следует учитывать

Постоянное хранилище не бесплатно и не лишено неудобств, а различия между провайдерами обычно заключаются именно в этих компромиссах, а не в наличии самой функции.

• Вы платите за него даже в простое. Оплата за вычисления прекращается при остановке GPU, но постоянный том продолжает тарифицироваться за ёмкость (обычно за гигабайт в месяц), независимо от того, подключён ли GPU. Большой том, оставленный между проектами, становится тихой регулярной статьёй расходов.
• Привязка к региону и зоне. Сетевой том обычно находится в одном регионе или дата-центре. Если нужные вам типы GPU доступны только в другом регионе, вы можете не иметь возможности подключить том там — а его миграция может повлечь расходы на исходящий трафик или время копирования.
• Пропускная способность и задержки сильно варьируются. Локальный NVMe-накопитель может обеспечивать гигабайты в секунду; сетевой файловый том может быть значительно медленнее и стать узким местом для интенсивного цикла обучения. Для высокопроизводительных конвейеров данных этот разрыв важнее, чем ёмкость.
• Ограничения по одновременному доступу. Некоторые блочные тома можно подключать только к одному экземпляру одновременно, тогда как общие файловые системы и объектное хранилище позволяют множеству читателей. Многоузловое обучение обычно требует общего файлового тома или объектного хранилища, а не блочного устройства с одиночным подключением.
• Плата за исходящий трафик и передачу данных. Чтение внутри одного региона провайдера обычно недорогое, но выгрузка данных на ваш ноутбук или в другой облачный сервис может повлечь за собой расходы на исходящий трафик, которые превысят стоимость хранения.

Что проверить в приведённом выше сравнении

Когда вы рассматриваете список провайдеров, поддерживающих постоянное хранилище, изучайте детали, а не принимайте “да” за однородный ответ:

1. Тип тома и пропускная способность — блочный, сетевой файловый том или объектное хранилище, и какую реальную скорость чтения/записи оно обеспечивает при нагрузке обучения?
2. Модель ценообразования — оплата за гигабайт в месяц и сохраняется ли плата при отсутствии подключённого GPU.
3. Привязка к региону — можно ли подключить том к нужным типам GPU и регионам, включая спотовую ёмкость?
4. Ёмкость и ограничения — максимальный размер тома, поддержка снимков и возможность совместного использования между несколькими узлами.
5. Условия исходящего трафика — сколько стоит выгрузка данных, поскольку это часто определяет общие расходы больше, чем стоимость хранения.

Соотнесите эти ответы с вашим рабочим процессом: для длительного дообучения важна надёжная сохранность контрольных точек и возможность возобновления; для тяжёлого конвейера данных — высокая пропускная способность; для безсерверного или масштабируемого инференса — быстрый общий доступ к “тёплым” весам. Правильный провайдер в таблице — тот, чьё постоянное хранилище соответствует вашему доминирующему сценарию.

Часто задаваемые вопросы

Сохраняет ли постоянное хранилище мои данные, если я остановлю экземпляр GPU?

Да — именно для этого оно и предназначено. Постоянный том не зависит от вычислительного экземпляра, поэтому остановка или уничтожение узла GPU не влияет на том и его содержимое. Вы можете подключить его к следующему запущенному экземпляру. Просто помните, что сам том обычно продолжает тарифицироваться за ёмкость, пока существует, даже если GPU не запущен.

Включено ли постоянное хранилище в стоимость аренды GPU?

Обычно нет. Почасовая ставка за GPU покрывает вычисления и базовый временный диск, а постоянные тома тарифицируются отдельно за ёмкость, обычно за гигабайт в месяц. Всегда учитывайте хранилище как отдельную статью расходов при оценке общей стоимости и проверяйте актуальное сравнение провайдеров выше для понимания ценообразования.

Могу ли я использовать постоянное хранилище с дешёвыми спотовыми или прерываемыми GPU?

Это одна из лучших причин для его использования. Поскольку том живёт дольше любого отдельного узла, вы можете быть прерваны на спотовом экземпляре, ничего не потерять и возобновить работу с последней контрольной точки на новой машине. Убедитесь, что провайдер разрешает подключение тома к спотовой ёмкости в том же регионе, где доступны эти GPU.

В чём разница между постоянным хранилищем и объектным хранилищем, например S3?

Объектное хранилище — это один из способов обеспечить сохранность данных, но вы читаете и записываете его как бакеты и объекты через API, а не монтируете как локальный диск. Постоянный блочный или файловый том ведёт себя как подключённый диск, к которому ваш код обращается напрямую. Объектное хранилище масштабируется до огромных размеров и доступно многим узлам; монтируемые тома обычно обеспечивают меньшие задержки для активного цикла обучения. Многие рабочие процессы используют оба варианта — бакеты для холодных архивов и монтируемый том для текущего рабочего набора.