Постачальники хмарних GPU з нульовими тарифами на вихідний трафік

Що насправді означає “нульові плати за вихідні дані” при оренді хмарних GPU

Вихідні дані — це дані, які покидають мережу провайдера — байти, які ви завантажуєте з хмари на свій ноутбук, в іншу хмару або кінцевим користувачам. Багато інфраструктурних платформ вимірюють цей трафік і стягують плату за гігабайт, при цьому майже не беручи або зовсім не беручи плату за вхідні дані (дані, що надходять). Хост GPU з “нульовими вихідними даними” або “$0 за вихідні дані” обіцяє, що вивантаження ваших даних не коштує нічого, окрім обчислень, які ви вже орендували. На платформі GPU це важлива відмінність, оскільки робочі навантаження штучного інтелекту та рендерингу зазвичай мають великий обсяг даних на виході: контрольні точки моделей, експортовані ваги, відрендерені кадри, результати пакетного висновку та синтетичні набори даних — все це має кудись передаватися після завершення роботи GPU.

Причина, чому вихідні дані оцінюються окремо, полягає в тому, що пропускна здатність до публічного інтернету є реальними витратами для провайдерів. Платформи, які рекламують відсутність плати за вихідні дані, або включають ці витрати у погодинну ставку GPU, або працюють у мережі з дешевим транзитом, або обмежують безкоштовний трафік лише трафіком, що залишається в межах їхнього власного магістрального каналу. Визначення, який із цих варіантів застосовується до кожного запису у порівнянні вище, — це суть гри.

Чому вихідні дані важливі для реальних робочих процесів GPU

Погодинна ціна GPU — це лише один рядок у рахунку. Для обробки великих обсягів даних передача може непомітно стати другим рахунком — і на відміну від обчислень, її важко передбачити заздалегідь. Ціни на вихідні дані найбільше впливають у таких випадках:

• Тренування, що експортує великі контрольні точки — моделі з мільярдами параметрів створюють контрольні точки розміром у десятки або сотні гігабайт. Якщо ви часто робите знімки та копіюєте кожен за межі платформи, вимірювані вихідні дані можуть зрівнятися за вартістю з витратами на GPU.
• Пакетний висновок з високою пропускною здатністю — генерація векторних подань, підписів або трансформованих медіа для мільйонів об’єктів означає, що обсяг вихідних даних може значно перевищувати вхідні. Цей вихід є вихідними даними в момент, коли він покидає провайдера.
• Рендеринг і відео — готові кадри та закодоване відео мають великий обсяг і майже завжди вивантажуються назад у сховище або для доставки, що робить рендеринг одним із найчутливіших до вихідних даних робочих навантажень GPU.
• Багатохмарні та гібридні конвеєри — переміщення набору даних або моделі між хостом GPU та окремим об’єктним сховищем, векторною базою даних або рівнем обслуговування перетинає мережеву межу щоразу, і кожне таке перетинання може бути виміряне.
• Обслуговування моделей для реальних користувачів — якщо сам GPU відповідає на API-запити, кожен токен відповіді або зображення, що транслюється клієнту, є вихідними даними.

Нульові вихідні дані усувають ту частину рахунку, яка зростає залежно від того, скільки ви фактично використовуєте результати своїх обчислень. Для експериментів це майже непомітно; для виробничих конвеєрів, які передають гігабайти на годину, це може бути різницею між двома провайдерами з однаковими погодинними ставками GPU.

Дрібний шрифт за “без вихідних даних”

Не кожне твердження про “безкоштовні вихідні дані” охоплює одне й те саме, і саме зірочки стають несподіванкою для покупців. При порівнянні записів вище перевірте, що саме має на увазі провайдер:

• Справді невимірювані публічні вихідні дані — будь-яке завантаження в відкритий інтернет безкоштовне, без жодної плати за гігабайт. Це найсильніша форма і найкорисніша для виробничого обслуговування.
• Безкоштовні внутрішні вихідні дані лише — передача безкоштовна, якщо вона залишається в межах власного регіону або магістралі провайдера, але вихід у публічний інтернет або іншу хмару все ще оплачується. Корисно лише якщо ваше сховище і обчислення знаходяться у одного постачальника.
• Щедрий безкоштовний ліміт, потім вимірювані дані — фіксована кількість безкоштовних гігабайт або терабайт на місяць, після чого застосовуються звичайні тарифи на вихідні дані. Добре для невеликих завдань, пастка для великих обсягів.
• Обмежена пропускна здатність “безкоштовно” — немає плати за гігабайт, але швидкість порту обмежена, тому великі передачі повільні, а не дорогі. Ви платите часом, а не грошима.
• Вихідні дані безкоштовні, але вихідні дані зі сховища окремо — вивантаження з підключеного блочного сховища може бути безкоштовним, а з окремого об’єктного сховища — ні. Межа — це те, що оплачується.

Існує справжній компроміс. Провайдер, який включає безкоштовні вихідні дані, може мати трохи вищу погодинну ставку GPU, оскільки ці витрати на пропускну здатність мають бути компенсовані. Для робочих навантажень із малою кількістю вихідних даних — тривалі тренування з утриманням контрольних точок або інтерактивна робота в блокнотах — оплата нижчої погодинної ставки з вимірюваними вихідними даними, які ви рідко використовуєте, може бути загалом дешевшою. Правильний вибір повністю залежить від співвідношення вихідних даних до обчислень.

Що перевірити перед тим, як укласти угоду

• Чи безкоштовні вихідні дані застосовуються до публічного інтернету або лише до внутрішньопровайдерського трафіку.
• Чи існує місячний ліміт на безкоштовний обсяг і яка плата за гігабайт після його перевищення.
• Обмеження швидкості порту/пропускної здатності, оскільки “безкоштовно, але повільно” все одно коштує вам GPU-години під час передачі даних.
• Чи враховується отримання даних зі сховища (читання з об’єктного сховища, експорт знімків) окремо від мережевих вихідних даних.
• Як політика взаємодіє з spot- або переривними інстансами — можливо, доведеться швидко евакуювати дані при звільненні вузла, і вимірювані вихідні дані в термін можуть бути болючими.

Читання порівняння вище щодо вихідних даних

Оцініть свої вихідні дані перед тим, як читати таблицю: приблизно скільки гігабайт залишає платформу за один запуск, помножте на кількість запусків на місяць. Поєднайте це з погодинною ставкою GPU, наведеною вище. Хост із нульовими вихідними даними і трохи вищою погодинною ціною часто виграє для виробничого обслуговування, пакетного висновку та рендерингу, де обсяг вихідних даних великий і передбачуваний. Для робіт із великим тренуванням і малим обсягом вихідних даних спочатку оцініть нижчу погодинну ставку і розглядайте вихідні дані як другорядний фактор. Оскільки політики пропускної здатності та ціни змінюються, використовуйте живе порівняння вище для актуальних погодинних ставок і підтверджуйте умови вихідних даних кожного провайдера відповідно до наведених тут пунктів.

Часті запитання

Чи означає “нульові вихідні дані”, що весь мій трафік безкоштовний?

Не завжди. Це надійно означає, що вихідний трафік не має плати за гігабайт, але деякі провайдери обмежують це трафіком, що залишається в їхній мережі, або включають лише фіксований місячний ліміт перед початком вимірювання. Вхідний трафік (вхідні дані) майже скрізь безкоштовний, тому твердження про вихідні дані — це те, що варто перевірити.

Наскільки великі можуть бути плати за вихідні дані у рахунку за GPU?

Це повністю залежить від обсягу вихідних даних. Декілька експериментальних блокнотів генерують незначні вихідні дані, тому плата — це округлення. Виробничий конвеєр, що експортує великі контрольні точки, рендерить відео або обслуговує відповіді моделей користувачам, може передавати терабайти на місяць, і в такому разі вимірювані вихідні дані можуть становити значну частку загальної вартості — іноді наближаючись до вартості обчислень.

Чи завжди варто обирати провайдера з нульовими вихідними даними?

Ні. Безкоштовні вихідні дані іноді супроводжуються трохи вищою погодинною ставкою GPU. Якщо ваше навантаження зберігає дані на місці — тривалі тренування, інтерактивна розробка — ви можете загалом платити менше з дешевшою погодинною ставкою та вимірюваними вихідними даними, які ви рідко використовуєте. Підбирайте політику відповідно до співвідношення вихідних даних до обчислень, а не вважайте нульові вихідні дані автоматично кращими.

Чи бувають безкоштовні вихідні дані обмежені за швидкістю?

Так. Деякі провайдери не стягують плату за гігабайт, але обмежують швидкість порту, тому великий експорт відбувається повільно, а не дорого. Оскільки годинник GPU може продовжувати працювати під час передачі даних, “безкоштовно, але повільно” все одно має реальні витрати в GPU-годинах. Завжди перевіряйте обмеження пропускної здатності разом із цінами.