Постачальники хмарних GPU з постійним сховищем

Що означає постійне зберігання даних при оренді хмарного GPU

За замовчуванням орендований екземпляр GPU надає робочий диск, який існує лише протягом життя цього екземпляра. У момент, коли ви зупиняєте, видаляєте або вас примусово відключають від цієї машини, локальний диск очищується, і дані зникають. Постійне зберігання розриває цей зв’язок: це об’єм сховища, термін життя якого не залежить від будь-якого окремого екземпляра GPU, тому ваші набори даних, контрольні точки моделей, середовища conda та кешовані ваги зберігаються після вимкнення і підключаються до наступної машини, яку ви запускаєте. Провайдери, згадані у порівнянні вище, всі пропонують якусь форму цього, але реалізації настільки різняться, що відповідь «так» — це лише початок пояснення.

На практиці постійне зберігання має дві основні форми. Перша — це мережевий том (блочне або файлове сховище), який монтується через внутрішню мережу провайдера і може бути підключений до будь-якого вузла GPU, який ви запускаєте. Друга — це об’єктне сховище (сумісні з S3 бакети), з яких ви завантажуєте дані на початку роботи і куди відправляєте результати. Деякі провайдери також зберігають постійний домашній каталог на швидкому локальному NVMe-пулi, який відокремлений від життєвого циклу обчислень. Кожен тип поводиться дуже по-різному за пропускною здатністю, затримками та способом інтеграції у цикл навчання.

Чому це важливо для реальних робочих процесів на GPU

Причина, чому варто звертати увагу на постійне зберігання, полягає в тому, що час GPU — це дорогий ресурс, і ви не хочете витрачати його на повторне завантаження та підготовку даних. Конкретно, це змінює такі робочі процеси:

• Довгі тренування і тонке налаштування записують контрольні точки кожні кілька сотень кроків. Якщо ці контрольні точки зберігаються лише на тимчасовому диску, аварійне завершення або примусове відключення вузла означає початок заново. Постійне зберігання дозволяє відновитися з останньої контрольної точки на свіжому GPU.
• Spot- та переривні екземпляри стають справді придатними для використання. Вся економіка дешевих примусово відключуваних GPU базується на можливості втратити вузол без втрати роботи — це можливо лише якщо ваш стан зберігається на томі, який переживає екземпляр.
• Великі набори даних (багатосотен-гігабайтні колекції зображень, відео або токенів) болісно повторно завантажувати при кожному запуску. Постійний том зберігає підготовлені, розподілені дані, тому кожна нова сесія починається за секунди, а не після тривалого копіювання.
• Ітеративна розробка виграє від стабільного домашнього каталогу: ваше середовище, встановлені пакунки, кешовані ваги Hugging Face і ноутбуки залишаються доступними завтра без повторного створення з образу контейнера.
• Обслуговування висновків (inference) може зберігати ваги моделей «гарячими» на підключеному сховищі, щоб масштабована копія завантажувалась швидко, замість того, щоб при холодному старті завантажувати десятки гігабайт з віддаленого бакету.

Компроміси, які слід враховувати

Постійне зберігання не є безкоштовним або позбавленим складнощів, і різниця між провайдерами зазвичай полягає саме в цих компромісах, а не в наявності функції взагалі.

• Ви платите за нього навіть у режимі простою. Оплата за обчислення припиняється, коли ви вимикаєте GPU, але постійний том продовжує нараховувати плату за ємність (зазвичай за ГБ на місяць), незалежно від того, чи підключений GPU. Великий том, що зберігається між проектами, стає тихою повторюваною витратою.
• Прив’язка до регіону та зони. Мережевий том зазвичай розташований в одному регіоні або дата-центрі. Якщо GPU потрібного типу доступні лише в іншому регіоні, ви можете не мати змоги підключити том там — а міграція може спричинити витрати на вихідний трафік або час копіювання.
• Пропускна здатність і затримки сильно варіюються. Локальний NVMe-накопичувач може забезпечувати гігабайти на секунду; мережевий файловий том може бути значно повільнішим і створювати «вузьке місце» для інтенсивного навчального циклу. Для високопродуктивних конвеєрів даних ця різниця важливіша за ємність.
• Обмеження одночасного доступу. Деякі блочні томи можна підключати лише до одного екземпляра одночасно, тоді як спільні файлові системи та об’єктне сховище дозволяють багатьом читачам. Багатовузлове навчання зазвичай потребує спільної файлової системи або об’єктного сховища, а не блочного пристрою з одиночним підключенням.
• Плата за вихідний трафік і передачу даних. Читання в межах одного регіону провайдера зазвичай дешеве, але вивантаження даних на ваш ноутбук або в іншу хмару може спричинити витрати на вихідний трафік, що перевищують вартість зберігання.

Що перевіряти у наведеному вище порівнянні

Коли ви розглядаєте список провайдерів, які підтримують постійне зберігання, детально вивчайте особливості, а не сприймайте «так» як однорідну відповідь:

1. Тип тому і пропускна здатність — чи це блочне, мережева файлова система чи об’єктне сховище, і яку реальну швидкість читання/запису воно підтримує під навантаженням навчання?
2. Модель ціноутворення — оплата за ГБ на місяць для тому, і чи продовжуєте ви платити, коли GPU не підключений.
3. Прив’язка до регіону — чи можна підключити том до типів GPU і регіонів, які вам потрібні, включно з spot-ємністю?
4. Ємність і обмеження — максимальний розмір тому, підтримка знімків і чи можна його спільно використовувати між кількома вузлами.
5. Умови вихідного трафіку — скільки коштує вивантаження даних, оскільки це часто визначає загальні витрати більше, ніж рядок зберігання.

Порівнюйте ці відповіді зі своїм робочим навантаженням: одне довге тонке налаштування потребує надійного збереження контрольних точок і відновлення; важкий конвеєр даних — сирої пропускної здатності; безсерверний або автоскейлінговий флот для висновків — швидкого спільного читання «теплих» ваг. Правильний провайдер у таблиці — це той, чия форма постійного зберігання відповідає вашому домінуючому сценарію.

Поширені запитання

Чи зберігає постійне сховище мої дані, якщо я зупиню екземпляр GPU?

Так — це саме його призначення. Постійний том відокремлений від обчислювального екземпляра, тому зупинка або видалення вузла GPU залишає том і його вміст недоторканими. Ви підключаєте його до наступного екземпляра, який запускаєте. Просто пам’ятайте, що сам том зазвичай продовжує нараховувати плату за ємність, поки існує, навіть якщо GPU не працює.

Чи включене постійне зберігання у вартість оренди GPU?

Зазвичай ні. Годинна ставка за GPU покриває обчислення і базовий тимчасовий диск, тоді як постійні томи оплачуються окремо за ємність, зазвичай за ГБ на місяць. Завжди розглядайте зберігання як окремий рядок при оцінці загальної вартості і перевіряйте актуальне порівняння вище, щоб дізнатись, як кожен провайдер це ціноутворює.

Чи можна використовувати постійне зберігання з дешевими spot або переривними GPU?

Це одна з найкращих причин для цього. Оскільки том переживає будь-який окремий вузол, вас можуть примусово відключити від spot-екземпляра, ви нічого не втратите і відновитесь з останньої контрольної точки на новій машині. Переконайтеся, що провайдер дозволяє підключати том до spot-ємності в тому ж регіоні, де доступні ці GPU.

У чому різниця між постійним зберіганням і об’єктним сховищем типу S3?

Об’єктне сховище — це один зі способів зробити дані постійними, але ви читаєте і записуєте їх як бакети та об’єкти через API, а не монтуєте як локальний диск. Постійний блочний або файловий том поводиться як підключений диск, який ваш код читає безпосередньо. Об’єктне сховище масштабується до величезних розмірів і може бути спільним для багатьох вузлів; змонтовані томи зазвичай мають нижчі затримки для активного навчального циклу. Багато робочих процесів використовують обидва — бакети для холодних архівів, змонтований том для живого робочого набору.