Постачальники хмарних GPU з нульовими тарифами на вихідний трафік

Що насправді означає “нульова плата за вихідний трафік” при оренді GPU у хмарі

Вихідний трафік — це дані, які залишають мережу провайдера — байти, які ви завантажуєте з хмари на свій ноутбук, в іншу хмару або кінцевим користувачам. Багато інфраструктурних платформ вимірюють цей трафік і стягують плату за гігабайт, при цьому майже не беруть або взагалі не беруть плату за вхідний трафік (дані, що надходять). Хост GPU з “нульовою платою за вихідний трафік” або “$0 за вихідний трафік” обіцяє, що вивантаження ваших даних не коштуватиме нічого, крім обчислень, які ви вже орендували. Для GPU-платформи це суттєва відмінність, оскільки робочі навантаження штучного інтелекту та рендерингу мають надзвичайно великий обсяг даних на виході: контрольні точки моделей, експортовані ваги, відрендерені кадри, результати пакетного інференсу та синтетичні набори даних — все це має кудись передаватися після завершення роботи GPU.

Причина, чому вихідний трафік оцінюється окремо, полягає в тому, що пропускна здатність до публічного інтернету є реальною вартістю для провайдерів. Платформи, які рекламують відсутність плати за вихідний трафік, або включають цю вартість у погодинну ставку за GPU, або працюють у мережі з дешевим транзитом, або обмежують безкоштовний трафік лише трафіком, що залишається в межах їхнього власного магістрального каналу. Визначення, який із цих варіантів застосовується до кожного запису в наведеному вище порівнянні, і є ключем до розуміння.

Чому вихідний трафік важливий для реальних робочих процесів на GPU

Погодинна ціна GPU — це лише один рядок у рахунку. Для завдань з великим обсягом даних передача може непомітно стати другою статтею витрат — і на відміну від обчислень, її важко передбачити заздалегідь. Найбільше плата за вихідний трафік відчутна у таких випадках:

• Навчання, що експортує великі контрольні точки — моделі з мільярдами параметрів створюють контрольні точки розміром у десятки або сотні гігабайт. Якщо ви часто робите знімки стану і копіюєте кожен із них поза платформою, платний вихідний трафік може зрівнятися з витратами на GPU.
• Пакетний інференс з високою пропускною здатністю — генерація векторних представлень, підписів або трансформованих медіа для мільйонів об’єктів означає, що обсяг вихідних даних може значно перевищувати вхідні. Цей вихідний трафік стає вихідним трафіком з моменту його виходу з провайдера.
• Рендеринг і відео — готові кадри та закодоване відео мають великий розмір і майже завжди завантажуються назад у сховище або для доставки, що робить рендеринг одним із найчутливіших до вихідного трафіку робочих навантажень GPU.
• Багатохмарні та гібридні конвеєри — переміщення набору даних або моделі між хостом GPU та окремим об’єктним сховищем, векторною базою даних або рівнем обслуговування перетинає межу мережі щоразу, і кожне таке перетинання може бути обліковане.
• Обслуговування моделей для реальних користувачів — якщо сам GPU-сервер відповідає на API-запити, кожен токен відповіді або зображення, що транслюється клієнту, є вихідним трафіком.

Нульова плата за вихідний трафік усуває ту частину рахунку, що зростає залежно від того, скільки ви фактично використовуєте результати своїх обчислень. Для експериментів це майже непомітно; для виробничих конвеєрів, які передають гігабайти на годину, це може бути різницею між двома провайдерами з однаковими погодинними ставками за GPU.

Дрібний шрифт за “без плати за вихідний трафік”

Не кожне твердження про “безкоштовний вихідний трафік” охоплює одне й те саме, і саме зірочки стають причиною несподіванок для покупців. Порівнюючи наведені вище записи, перевірте, що саме має на увазі провайдер:

• Справді неміряний публічний вихідний трафік — будь-яке завантаження в відкритий інтернет безкоштовне, без жодної плати за гігабайт. Це найсильніша форма і найбільш корисна для виробничого обслуговування.
• Безкоштовний внутрішній вихідний трафік лише — передача безкоштовна, якщо вона залишається в межах власного регіону або магістралі провайдера, але вихід у публічний інтернет або в іншу хмару все ще оплачується. Корисно лише якщо ваше сховище і обчислення розміщені у одного постачальника.
• Щедрий безкоштовний ліміт, потім платний — фіксована кількість безкоштовних гігабайт або терабайт на місяць, після чого застосовуються звичайні тарифи за вихідний трафік. Добре для невеликих завдань, пастка для великих обсягів.
• Обмежений за пропускною здатністю “безкоштовний” — відсутність плати за гігабайт, але швидкість порту обмежена, тому великі передачі повільніші, а не дорожчі. Ви платите часом роботи, а не грошима.
• Безкоштовний вихідний трафік, але окремо оплачується вихідний трафік зі сховища — завантаження з приєднаного блочного сховища може бути безкоштовним, тоді як завантаження з окремого об’єктного сховища — ні. Межа визначає, що оплачується.

Існує справжній компроміс. Провайдер, який включає безкоштовний вихідний трафік, може встановлювати трохи вищу погодинну ставку за GPU, оскільки вартість пропускної здатності має бути покрита десь. Для робочих навантажень з малим обсягом вихідних даних — довгі тренування, що зберігають контрольні точки, або інтерактивна робота в ноутбуках — дешевша погодинна ставка з платним вихідним трафіком, який ви рідко використовуєте, може бути загалом вигіднішою. Правильний вибір повністю залежить від співвідношення вихідних даних до обчислень.

Що перевірити перед укладанням угоди

• Чи поширюється безкоштовний вихідний трафік на публічний інтернет чи лише на внутрішню передачу між провайдерами.
• Чи існує місячний ліміт на безкоштовний обсяг і яка плата за гігабайт після його перевищення.
• Обмеження швидкості порту/пропускної здатності, оскільки “безкоштовно, але повільно” все одно коштує вам GPU-години під час передачі даних.
• Чи враховується отримання даних зі сховища (читання з об’єктного сховища, експорт знімків) окремо від мережевого вихідного трафіку.
• Як політика взаємодіє з spot-інстансами або переривними інстансами — можливо, доведеться швидко евакуювати дані при звільненні вузла, і платний вихідний трафік у термін може бути болючим.

Як читати наведене вище порівняння щодо вихідного трафіку

Оцініть свій вихідний трафік перед читанням таблиці: приблизно скільки гігабайт залишає платформу за один запуск, помножте на кількість запусків на місяць. Порівняйте це з погодинною ставкою GPU, наведеною вище. Хост із нульовим вихідним трафіком і трохи вищою погодинною ціною часто виграє для виробничого обслуговування, пакетного інференсу та рендерингу, де обсяг вихідних даних великий і передбачуваний. Для робіт із великим обсягом навчання і малим обсягом вихідних даних спочатку оцініть нижчу погодинну ставку і розглядайте вихідний трафік як другорядний фактор. Оскільки політики пропускної здатності та ціни змінюються, використовуйте актуальне порівняння вище для поточних погодинних ставок і підтверджуйте умови вихідного трафіку кожного провайдера згідно з наведеними тут пунктами.

Часті запитання

Чи означає “нульова плата за вихідний трафік”, що весь мій трафік безкоштовний?

Не завжди. Це надійно означає, що вихідний трафік не має плати за гігабайт, але деякі провайдери обмежують це трафіком, що залишається в їхній мережі, або включають лише фіксований місячний ліміт перед початком обліку. Вхідний трафік (вхід) майже скрізь безкоштовний, тому твердження про вихідний трафік варто перевіряти.

Наскільки реально плата за вихідний трафік може додатися до рахунку за GPU?

Це повністю залежить від обсягу вихідних даних. Декілька експериментальних ноутбуків генерують незначний вихідний трафік, тому плата є незначною. Виробничий конвеєр, що експортує великі контрольні точки, рендерить відео або обслуговує відповіді моделей користувачам, може передавати терабайти на місяць, і в такому випадку платний вихідний трафік може становити значну частку загальної суми — іноді наближаючись до вартості обчислень.

Чи завжди слід обирати провайдера з нульовою платою за вихідний трафік?

Ні. Безкоштовний вихідний трафік іноді супроводжується трохи вищою погодинною ставкою за GPU. Якщо ваше навантаження зберігає дані на місці — довгі тренування, інтерактивна розробка — ви можете платити менше загалом із дешевшою погодинною ставкою і платним вихідним трафіком, який рідко використовуєте. Вибирайте політику відповідно до співвідношення вихідних даних до обчислень, а не вважайте нульову плату за вихідний трафік автоматично кращою.

Чи буває безкоштовний вихідний трафік обмеженим за швидкістю?

Так. Деякі провайдери не беруть плату за гігабайт, але обмежують швидкість порту, тому великий експорт відбувається повільно, а не дорого. Оскільки годинник GPU може продовжувати працювати під час передачі даних, “безкоштовно, але повільно” все одно має реальні витрати у GPU-годинах. Завжди перевіряйте обмеження пропускної здатності разом із цінами.