Постачальники хмарних GPU з нульовими тарифами на вихідний трафік

Що насправді означає “нульові плати за вихідні дані” при оренді хмарних GPU

Вихідні дані — це дані, які покидають мережу провайдера — байти, які ви завантажуєте з хмари на свій ноутбук, в іншу хмару або кінцевим користувачам. Багато інфраструктурних платформ вимірюють цей трафік і стягують плату за гігабайт, при цьому майже не беручи або зовсім не беручи плату за вхідні дані (дані, що надходять). Хостинг GPU з “нульовими вихідними” або “$0 за вихідні” обіцяє, що вивантаження ваших даних не коштуватиме нічого, окрім обчислювальних ресурсів, які ви вже орендували. На платформі GPU це важлива відмінність, оскільки навантаження на AI та рендеринг зазвичай дуже інтенсивні за обсягом даних на виході: контрольні точки моделей, експортовані ваги, відрендерені кадри, результати пакетного виводу та синтетичні набори даних мають десь зберігатися після завершення роботи GPU.

Причина, чому вихідні дані оцінюються окремо, полягає в тому, що пропускна здатність до публічного інтернету є реальною витратою для провайдерів. Платформи, які рекламують відсутність плати за вихідні дані, або включають цю вартість у погодинну ставку GPU, або працюють у мережах з дешевим транзитом, або обмежують безкоштовний трафік тими даними, що залишаються в межах їхнього власного магістрального каналу. Зрозуміти, який із цих варіантів застосовується до кожного запису в наведеному вище порівнянні — це і є головне завдання.

Чому вихідні дані важливі для реальних робочих процесів GPU

Погодинна ціна GPU — це лише один рядок у рахунку. Для завдань з великим обсягом даних передача може тихо стати другою статтею витрат — і на відміну від обчислень, її важко передбачити заздалегідь. Ціни на вихідні дані найбільше впливають у таких випадках:

• Навчання з експортом великих контрольних точок — моделі з мільярдами параметрів створюють контрольні точки обсягом у десятки або сотні гігабайтів. Якщо ви часто робите знімки і копіюєте кожен з них поза платформою, платний вихідний трафік може зрівнятися за вартістю з витратами на GPU.
• Пакетний високо-продуктивний вивід — генерація вбудовувань, підписів або трансформованих медіа для мільйонів об’єктів означає, що обсяг вихідних даних може значно перевищувати вхідні. Ці вихідні дані є вихідним трафіком з моменту, коли вони покидають провайдера.
• Рендеринг і відео — готові кадри та закодоване відео мають великий обсяг і майже завжди вивантажуються назад у сховище або для доставки, що робить рендеринг одним із найбільш чутливих до вихідного трафіку навантажень GPU.
• Багатохмарні та гібридні конвеєри — переміщення набору даних або моделі між хостом GPU та окремим об’єктним сховищем, векторною базою даних або рівнем обслуговування перетинає межу мережі щоразу, і кожне таке перетинання може бути виміряне.
• Обслуговування моделей для реальних користувачів — якщо сам GPU-сервер відповідає на API-запити, кожен токен відповіді чи зображення, що передається клієнту, є вихідним трафіком.

Нульові вихідні дані усувають ту частину рахунку, яка залежить від того, скільки ви фактично використовуєте результатів ваших обчислень. Для експериментів це майже непомітно; для виробничих конвеєрів, що передають гігабайти на годину, це може бути різницею між двома провайдерами з однаковими погодинними ставками GPU.

Дрібний шрифт за “без вихідних даних”

Не всі заяви про “безкоштовний вихідний трафік” охоплюють одне й те саме, і саме зірочки стають причиною несподіванок для покупців. При порівнянні наведених вище записів перевірте, що саме має на увазі провайдер:

• Справді неміряний публічний вихідний трафік — будь-яке завантаження в відкритий інтернет безкоштовне, без жодної плати за гігабайт. Це найсильніша форма і найкорисніша для виробничого обслуговування.
• Безкоштовний внутрішній вихідний трафік лише — передача безкоштовна, якщо вона залишається в межах власного регіону або магістралі провайдера, але вихід у публічний інтернет або іншу хмару все одно оплачується. Корисно лише якщо ваше сховище і обчислення розміщені у одного постачальника.
• Щедрий безкоштовний ліміт, потім вимірювання — фіксована кількість безкоштовних гігабайтів або терабайтів на місяць, після чого застосовуються звичайні тарифи на вихідні дані. Добре для невеликих завдань, пастка для великих обсягів.
• Обмежений пропускною здатністю “безкоштовний” — плати за гігабайт немає, але швидкість порту обмежена, тому великі передачі повільніші, а не дорожчі. Ви платите часом, а не грошима.
• Вихідні дані безкоштовні, але вихід зі сховища окремо — вивантаження з підключеного блочного сховища може бути безкоштовним, тоді як вивантаження з окремого об’єктного сховища — ні. Межа визначає, що оплачується.

Існує справжній компроміс. Провайдер, який включає безкоштовний вихідний трафік, може мати трохи вищу погодинну ставку GPU, оскільки вартість пропускної здатності має десь відбиватися. Для навантажень з малою кількістю вихідних даних — довгі тренування з утриманням контрольних точок або інтерактивна робота в блокнотах — може бути вигідніше платити нижчу погодинну ставку з платним вихідним трафіком, який ви рідко використовуєте. Правильний вибір залежить повністю від співвідношення вихідних даних до обчислень.

Що перевірити перед укладенням угоди

• Чи безкоштовний вихідний трафік застосовується до публічного інтернету або лише до внутрішньопровайдерського трафіку.
• Чи існує місячний ліміт на безкоштовний обсяг і яка плата за гігабайт після його перевищення.
• Обмеження швидкості порту/пропускної здатності, оскільки “безкоштовно, але повільно” все одно коштує вам GPU-години, поки дані передаються.
• Чи враховується отримання даних зі сховища (читання з об’єктного сховища, експорт знімків) окремо від мережевого вихідного трафіку.
• Як політика взаємодіє з spot- або переривними інстанціями — можливо, доведеться швидко евакуювати дані при звільненні вузла, і платний вихідний трафік у такі терміни є проблемою.

Як читати порівняння вище щодо вихідних даних

Оцініть свій вихідний трафік перед тим, як читати таблицю: приблизно скільки гігабайтів покидає платформу за один запуск, помножте на кількість запусків на місяць. Порівняйте це з погодинною ставкою GPU, наведеною вище. Хост із нульовим вихідним трафіком і трохи вищою погодинною ціною часто виграє для виробничого обслуговування, пакетного виводу та рендерингу, де обсяг вихідних даних великий і передбачуваний. Для навантажень з великим обсягом навчання і малим обсягом виходу спочатку оцініть нижчу погодинну ставку і розглядайте вихідний трафік як другорядний фактор. Оскільки політики пропускної здатності та ціни змінюються, використовуйте актуальне порівняння вище для поточних погодинних ставок і підтверджуйте умови вихідних даних кожного провайдера згідно з наведеними тут пунктами.

Часті запитання

Чи означає “нульові вихідні дані”, що весь мій трафік безкоштовний?

Не завжди. Це надійно означає, що вихідний трафік не має плати за гігабайт, але деякі провайдери обмежують це трафіком, що залишається в їхній мережі, або включають лише фіксований місячний ліміт перед початком вимірювання. Вхідний трафік (вхідні дані) майже скрізь безкоштовний, тому саме твердження про вихідні дані варто перевіряти.

Наскільки реально можуть збільшити рахунок плати за вихідні дані?

Це повністю залежить від обсягу вихідних даних. Декілька експериментальних блокнотів генерують незначний вихідний трафік, тому плата є незначною. Виробничий конвеєр, що експортує великі контрольні точки, рендерить відео або обслуговує відповіді моделей користувачам, може передавати терабайти на місяць, і тоді платний вихідний трафік може становити значну частку загальної вартості — іноді наближаючись до вартості обчислень.

Чи завжди слід обирати провайдера з нульовим вихідним трафіком?

Ні. Безкоштовний вихідний трафік іноді супроводжується трохи вищою погодинною ставкою GPU. Якщо ваше навантаження зберігає дані на місці — довгі тренування, інтерактивна розробка — ви можете платити менше загалом, обираючи дешевшу погодинну ставку і платний вихідний трафік, який ви рідко використовуєте. Підбирайте політику відповідно до співвідношення вихідних даних до обчислень, а не автоматично вважайте нульовий вихідний трафік кращим.

Чи буває безкоштовний вихідний трафік обмежений швидкістю?

Так. Деякі провайдери не беруть плату за гігабайт, але обмежують швидкість порту, тому великий експорт відбувається повільно, а не дорого. Оскільки GPU може продовжувати працювати, поки дані передаються, “безкоштовно, але повільно” все одно має реальні витрати в GPU-годинах. Завжди перевіряйте обмеження пропускної здатності разом із цінами.