Постачальники хмарних GPU з нульовими тарифами на вихідний трафік

Що насправді означає “нульові плати за вихідні дані” при оренді хмарних GPU

Вихідні дані — це дані, які покидають мережу провайдера — байти, які ви завантажуєте з хмари на свій ноутбук, в іншу хмару або кінцевим користувачам. Багато інфраструктурних платформ вимірюють цей трафік і стягують плату за гігабайт, при цьому майже не беруть або не беруть зовсім плату за вхідні дані (дані, що надходять). Хост GPU з “нульовими вихідними” або “$0 за вихідні” обіцяє, що вивантаження ваших даних коштує нічого, окрім обчислень, які ви вже орендували. На платформі GPU це важлива відмінність, оскільки навантаження на AI та рендеринг зазвичай дуже інтенсивні за обсягом даних на виході: контрольні точки моделей, експортовані ваги, відрендерені кадри, результати пакетного інференсу та синтетичні набори даних — все це має кудись передаватися після завершення роботи GPU.

Причина, чому вихідні дані оцінюються окремо, полягає в тому, що пропускна здатність до публічного інтернету є реальними витратами для провайдерів. Платформи, які рекламують відсутність плати за вихідні дані, або включають ці витрати у погодинну ставку GPU, або працюють у мережі з дешевим транзитом, або обмежують безкоштовний трафік лише трафіком, що залишається в межах їх власного магістрального каналу. Визначити, який із цих варіантів застосовується до кожного запису у наведеному вище порівнянні — ось у чому суть.

Чому вихідні дані важливі для реальних робочих процесів на GPU

Погодинна ціна GPU — це лише один рядок у рахунку. Для завдань з великим обсягом даних передача може непомітно стати другою платіжкою — і на відміну від обчислень, її важко передбачити заздалегідь. Ціни на вихідні дані найбільше впливають у таких випадках:

• Тренування, що експортує великі контрольні точки — моделі з мільярдами параметрів створюють контрольні точки розміром у десятки або сотні гігабайт. Якщо ви часто робите знімки і копіюєте кожен поза платформою, вимірюваний вихідний трафік може зрівнятися за вартістю з витратами на GPU.
• Пакетний інференс з високою пропускною здатністю — генерація векторних уявлень, підписів або трансформованих медіа для мільйонів елементів означає, що обсяг вихідних даних може значно перевищувати вхідні. Ці вихідні дані стають вихідним трафіком у момент їх покидання провайдера.
• Рендеринг і відео — готові кадри та закодоване відео великі за обсягом і майже завжди вивантажуються назад у сховище або для доставки, що робить рендеринг одним із найчутливіших до вихідного трафіку навантажень на GPU.
• Мультихмарні та гібридні конвеєри — переміщення набору даних або моделі між хостом GPU та окремим об’єктним сховищем, векторною базою даних або шаром обслуговування перетинає мережеву межу щоразу, і кожне таке перетинання може вимірюватися.
• Обслуговування моделей для реальних користувачів — якщо сам пристрій GPU відповідає на API-запити, кожен токен відповіді або зображення, що передається клієнту, є вихідним трафіком.

Нульові вихідні дані усувають ту частину рахунку, яка зростає залежно від того, наскільки ви фактично використовуєте результати обчислень. Для експериментів це майже непомітно; для виробничих конвеєрів, що передають гігабайти на годину, це може бути різницею між двома провайдерами з однаковими погодинними ставками GPU.

Дрібний шрифт за “без вихідних даних”

Не кожне твердження про “безкоштовний вихідний трафік” охоплює одне й те саме, і саме зірочки часто стають несподіванкою для покупців. При порівнянні записів вище перевіряйте, що саме має на увазі провайдер:

• Справді неміряний публічний вихідний трафік — будь-яке завантаження в відкритий інтернет безкоштовне, без жодної плати за гігабайт. Це найсильніша форма і найбільш корисна для виробничого обслуговування.
• Лише безкоштовний внутрішній вихідний трафік — передача безкоштовна, доки вона залишається в межах регіону або магістралі провайдера, але вихід у публічний інтернет або іншу хмару все ще оплачується. Корисно лише якщо ваше сховище і обчислення розміщені у одного постачальника.
• Щедрий безкоштовний ліміт, а потім вимірювання — фіксована кількість безкоштовних гігабайт або терабайт на місяць, після чого застосовуються звичайні тарифи на вихідні дані. Добре для невеликих завдань, пастка для об’ємних.
• Обмежена за пропускною здатністю “безкоштовність” — плати за гігабайт немає, але швидкість порту обмежена, тому великі передачі повільні, а не дорогі. Ви платите часом, а не грошима.
• Вихідні дані безкоштовні, але вихід зі сховища окремо — вивантаження з підключеного блочного сховища може бути безкоштовним, тоді як вивантаження з окремого об’єктного сховища — ні. Межа визначає, що оплачується.

Існує справжній компроміс. Провайдер, що включає безкоштовний вихідний трафік, може мати трохи вищу погодинну ставку GPU, оскільки ці витрати на пропускну здатність мають десь відбиватися. Для навантажень з малим вихідним трафіком — довгі тренування з утриманням контрольних точок або інтерактивна робота в ноутбуках — дешевша погодинна ставка з вимірюваним вихідним трафіком, який ви рідко використовуєте, може бути загалом вигіднішою. Правильний вибір залежить повністю від співвідношення виходу до обчислень.

Що перевірити перед укладенням угоди

• Чи безкоштовний вихідний трафік застосовується до публічного інтернету або лише до внутрішньопровайдерського трафіку.
• Чи існує місячний ліміт на безкоштовний обсяг і яка плата за гігабайт після його перевищення.
• Обмеження швидкості порту/пропускної здатності, оскільки “безкоштовно, але повільно” все одно коштує вам GPU-години під час передачі даних.
• Чи враховується отримання даних зі сховища (читання з об’єктного сховища, експорт знімків) окремо від мережевого вихідного трафіку.
• Як політика взаємодіє з spot- або переривними інстансами — можливо, доведеться швидко евакуювати дані при звільненні вузла, і вимірюваний вихідний трафік у термін може бути болючим.

Читання наведеного вище порівняння щодо вихідних даних

Оцініть свій вихідний трафік перед читанням таблиці: приблизно скільки гігабайт залишає платформу за один запуск, помножте на кількість запусків на місяць. Поєднайте це з погодинною ставкою GPU, наведеною вище. Хост із нульовим вихідним трафіком і трохи вищою погодинною ціною часто виграє для виробничого обслуговування, пакетного інференсу та рендерингу, де обсяг вихідних даних великий і передбачуваний. Для навантажень із великим тренуванням і малим виходом спочатку оцініть нижчу погодинну ставку і розглядайте вихідний трафік як другорядний фактор. Оскільки політики пропускної здатності та ціни змінюються, використовуйте актуальне порівняння вище для поточних погодинних ставок і підтверджуйте умови вихідного трафіку кожного провайдера згідно з пунктами, наведеними тут.

Поширені запитання

Чи означає “нульові вихідні” безкоштовну передачу всіх моїх даних?

Не завжди. Це надійно означає, що вихідний трафік не має плати за гігабайт, але деякі провайдери обмежують це трафіком, що залишається в їхній мережі, або включають лише фіксований місячний ліміт перед початком вимірювання. Вхідний трафік (вхідні дані) майже скрізь безкоштовний, тому твердження про вихідні дані варто перевіряти.

Наскільки реально можуть додати плати за вихідні дані до рахунку за GPU?

Це повністю залежить від обсягу вихідних даних. Декілька експериментальних ноутбуків генерують незначний вихідний трафік, тому плата — це похибка округлення. Виробничий конвеєр, що експортує великі контрольні точки, рендерить відео або обслуговує відповіді моделей користувачам, може передавати терабайти на місяць, і тоді вимірюваний вихідний трафік може стати значною часткою загальної вартості — іноді наближаючись до вартості обчислень.

Чи завжди слід обирати провайдера з нульовим вихідним трафіком?

Ні. Безкоштовний вихідний трафік іноді супроводжується трохи вищою погодинною ставкою GPU. Якщо ваше навантаження зберігає дані на місці — довгі тренування, інтерактивна розробка — ви можете загалом платити менше з дешевшою погодинною ставкою і вимірюваним вихідним трафіком, який ви рідко використовуєте. Підбирайте політику відповідно до співвідношення виходу до обчислень, а не автоматично вважайте нульовий вихідний трафік кращим.

Чи буває безкоштовний вихідний трафік обмежений швидкістю?

Так. Деякі провайдери не стягують плату за гігабайт, але обмежують швидкість порту, тому великий експорт повільний, а не дорогий. Оскільки годинник GPU може працювати під час передачі даних, “безкоштовно, але повільно” все одно має реальну вартість у GPU-годинах. Завжди перевіряйте обмеження пропускної здатності разом із цінами.