Постачальники хмарних GPU з відсутністю плати за вихідний трафік

Що насправді означає “нульова плата за вихідний трафік” при оренді хмарних GPU

Вихідний трафік — це дані, які залишають мережу провайдера — байти, які ви завантажуєте з хмари на свій ноутбук, в іншу хмару або кінцевим користувачам. Багато інфраструктурних платформ вимірюють цей трафік і стягують плату за гігабайт, при цьому майже не беруть або зовсім не беруть плату за вхідний трафік (дані, що надходять). Хост GPU з “нульовою платою за вихідний трафік” або “$0 за вихідний трафік” обіцяє, що вивантаження ваших даних не коштуватиме нічого, окрім обчислень, які ви вже орендували. На платформі GPU це важлива відмінність, оскільки робочі навантаження AI та рендерингу надзвичайно інтенсивні за обсягом даних на виході: контрольні точки моделей, експортовані ваги, відрендерені кадри, результати пакетного інференсу та синтетичні набори даних усі мають бути передані кудись після завершення роботи GPU.

Причина, чому вихідний трафік оцінюється окремо, полягає в тому, що пропускна здатність до публічного інтернету є реальною вартістю для провайдерів. Платформи, які рекламують відсутність плати за вихідний трафік, або включають цю вартість у погодинну ставку GPU, або працюють у мережі з дешевим транзитом, або обмежують безкоштовний трафік лише трафіком, що залишається в межах їх власної магістралі. Розуміння, який із цих варіантів застосовується до кожного запису в наведеному вище порівнянні, — це ключова задача.

Чому вихідний трафік важливий для реальних робочих процесів GPU

Погодинна ціна GPU — це лише один рядок у рахунку. Для завдань з інтенсивним обміном даними передача може непомітно стати другою статтею витрат — і, на відміну від обчислень, її важко передбачити заздалегідь. Ціни на вихідний трафік найбільше впливають у таких випадках:

• Навчання з експортом великих контрольних точок — моделі з мільярдами параметрів створюють контрольні точки обсягом у десятки або сотні гігабайт. Якщо ви часто робите знімки стану і копіюєте кожен з них поза платформою, платний вихідний трафік може зрівнятися за вартістю з витратами на GPU.
• Пакетний інференс з високою пропускною здатністю — генерація ембедингів, підписів або трансформованих медіа для мільйонів об’єктів означає, що обсяг вихідних даних може значно перевищувати вхідні. Цей вихідний трафік вважається вихідним трафіком з моменту, коли він залишає провайдера.
• Рендеринг і відео — готові кадри та закодоване відео мають великий обсяг і майже завжди вивантажуються назад у сховище або для доставки, що робить рендеринг одним із найбільш чутливих до вихідного трафіку робочих навантажень GPU.
• Мультихмарні та гібридні конвеєри — переміщення набору даних або моделі між хостом GPU та окремим об’єктним сховищем, векторною базою даних або шаром обслуговування перетинає межу мережі щоразу, і кожне таке перетинання може бути виміряне і оплачуване.
• Обслуговування моделей для реальних користувачів — якщо сам GPU-сервер відповідає на API-запити, кожен токен відповіді або зображення, що транслюється клієнту, є вихідним трафіком.

Нульова плата за вихідний трафік усуває ту частину рахунку, яка зростає залежно від того, скільки ви фактично використовуєте результати своїх обчислень. Для експериментів це майже непомітно; для виробничих конвеєрів, які передають гігабайти на годину, це може бути різницею між двома провайдерами з однаковими погодинними ставками GPU.

Дрібний шрифт за “без плати за вихідний трафік”

Не кожне твердження про “безкоштовний вихідний трафік” охоплює одне й те саме, і саме зірочки викликають у покупців несподіванки. Порівнюючи наведені вище записи, перевірте, що саме має на увазі провайдер:

• Справді неміряний публічний вихідний трафік — будь-яке завантаження в відкритий інтернет безкоштовне, без жодної плати за гігабайт. Це найсильніша форма і найбільш корисна для виробничого обслуговування.
• Безкоштовний внутрішній вихідний трафік лише — передача безкоштовна, якщо вона залишається в межах власного регіону або магістралі провайдера, але вихід у публічний інтернет або в іншу хмару все ще оплачується. Корисно лише якщо ваше сховище і обчислення знаходяться у одного постачальника.
• Щедрий безкоштовний ліміт, потім платний — фіксована кількість безкоштовних гігабайт або терабайт на місяць, після чого застосовуються звичайні тарифи на вихідний трафік. Добре для невеликих завдань, пастка для великих обсягів.
• Обмежений за пропускною здатністю “безкоштовний” — плати за гігабайт немає, але швидкість порту обмежена, тому великі передачі повільніші, а не дорожчі. Ви платите часом роботи, а не грошима.
• Вихідний трафік безкоштовний, але вихід зі сховища окремо — вивантаження з підключеного блочного сховища може бути безкоштовним, а з окремого об’єктного сховища — ні. Межа визначає, що оплачується.

Існує справжній компроміс. Провайдер, який включає безкоштовний вихідний трафік, може мати трохи вищу погодинну ставку GPU, оскільки ця вартість пропускної здатності має бути компенсована десь. Для робочих навантажень з малим вихідним трафіком — довгі навчальні сесії з утриманням контрольних точок або інтерактивна робота в ноутбуках — дешевша погодинна ставка з платним вихідним трафіком, який ви рідко використовуєте, може бути загалом вигіднішою. Правильний вибір повністю залежить від співвідношення вихідних даних до обчислень.

Що перевірити перед укладанням угоди

• Чи поширюється безкоштовний вихідний трафік на публічний інтернет чи лише на внутрішній трафік провайдера.
• Чи існує місячний ліміт на безкоштовний обсяг і яка плата за гігабайт після його перевищення.
• Обмеження швидкості порту/пропускної здатності, оскільки “безкоштовно, але повільно” все одно коштує вам GPU-години під час передачі даних.
• Чи враховується отримання даних зі сховища (читання з об’єктного сховища, експорт контрольних точок) окремо від мережевого вихідного трафіку.
• Як політика взаємодіє з spot-інстансами або переривними інстансами — можливо, вам доведеться швидко евакуювати дані при звільненні вузла, і платний вихідний трафік у стислі терміни може бути болісним.

Як читати наведене вище порівняння вихідного трафіку

Оцініть свій вихідний трафік перед читанням таблиці: приблизно скільки гігабайт залишає платформу за один запуск, помножте на кількість запусків на місяць. Поєднайте це з погодинною ставкою GPU, наведеною вище. Хост з нульовим вихідним трафіком і трохи вищою погодинною ціною часто виграє для виробничого обслуговування, пакетного інференсу та рендерингу, де обсяг вихідних даних великий і передбачуваний. Для робіт з великим навчанням і малим виходом спочатку оцініть нижчу погодинну ставку і розглядайте вихідний трафік як другорядний фактор. Оскільки політики пропускної здатності та ціни змінюються, користуйтеся актуальним порівнянням вище для поточних погодинних ставок і підтверджуйте умови вихідного трафіку кожного провайдера за пунктами, наведеними тут.

Поширені запитання

Чи означає “нульова плата за вихідний трафік”, що весь мій трафік безкоштовний?

Не завжди. Це надійно означає, що вихідний трафік не має плати за гігабайт, але деякі провайдери обмежують це трафіком, що залишається в їхній мережі, або включають лише фіксований місячний ліміт перед початком оплати. Вхідний трафік (вхідні дані) майже повсюдно безкоштовний, тому твердження про вихідний трафік варто перевіряти.

Наскільки реально можуть додати плати за вихідний трафік до рахунку за GPU?

Це повністю залежить від обсягу вихідних даних. Кілька експериментальних ноутбуків генерують незначний вихідний трафік, тому плата є незначною. Виробничий конвеєр, який експортує великі контрольні точки, рендерить відео або обслуговує відповіді моделей користувачам, може передавати терабайти на місяць, і в такому разі платний вихідний трафік може становити значну частку загальних витрат — іноді наближаючись до вартості обчислень.

Чи завжди слід обирати провайдера з нульовою платою за вихідний трафік?

Ні. Безкоштовний вихідний трафік іноді супроводжується трохи вищою погодинною ставкою GPU. Якщо ваше навантаження зберігає дані на місці — довгі навчальні сесії, інтерактивна розробка — ви можете заплатити менше загалом, обираючи дешевшу погодинну ставку з платним вихідним трафіком, який ви рідко використовуєте. Підбирайте політику відповідно до співвідношення вихідних даних до обчислень, а не вважайте нульову плату за вихідний трафік автоматично кращою.

Чи буває безкоштовний вихідний трафік обмежений швидкістю?

Так. Деякі провайдери не беруть плату за гігабайт, але обмежують швидкість порту, тому великий експорт відбувається повільно, а не дорого. Оскільки годинник GPU може продовжувати працювати під час передачі даних, “безкоштовно, але повільно” все одно має реальні витрати у GPU-годинах. Завжди перевіряйте обмеження пропускної здатності разом із цінами.