Облачные провайдеры GPU с нулевой платой за исходящий трафик

Что на самом деле означает “ноль платы за исходящий трафик” при аренде облачных GPU

Исходящий трафик — это данные, которые покидают сеть провайдера — байты, которые вы скачиваете из облака на свой ноутбук, в другое облако или конечным пользователям. Многие инфраструктурные платформы учитывают этот трафик и выставляют счёт за гигабайт, при этом взимая небольшую плату или не взимая её вовсе за входящий трафик (данные, поступающие внутрь). Хост GPU с “нулевой платой за исходящий трафик” или “$0 за исходящий трафик” обещает, что извлечение ваших данных не стоит ничего сверх уже арендованного вычислительного времени. На платформе GPU это важное отличие, поскольку рабочие нагрузки ИИ и рендеринга необычно интенсивны по данным на выходе: контрольные точки моделей, экспортированные веса, отрендеренные кадры, результаты пакетного вывода и синтетические наборы данных — всё это должно куда-то передаваться после завершения работы GPU.

Причина, по которой исходящий трафик оценивается отдельно, заключается в том, что пропускная способность к публичному интернету — это реальная входящая стоимость для провайдеров. Платформы, рекламирующие отсутствие платы за исходящий трафик, либо включают эту стоимость в почасовую ставку GPU, работают в сети с дешёвым транзитом, либо ограничивают бесплатный трафик только тем, который остаётся внутри их собственной магистрали. Понять, какой из этих вариантов применим к каждому из сравниваемых вариантов выше — вот в чём суть игры.

Почему исходящий трафик важен для реальных рабочих процессов с GPU

Почасовая цена GPU — это только одна строка в счёте. Для задач с интенсивным использованием данных передача может тихо превратиться во второй счёт — и в отличие от вычислений, её трудно предсказать заранее. Ценообразование на исходящий трафик особенно ощутимо в следующих сценариях:

• Обучение с экспортом больших контрольных точек — модели с миллиардами параметров создают контрольные точки размером в десятки или сотни гигабайт. Если вы часто делаете снимки и копируете каждый из них вне платформы, платный исходящий трафик может соперничать с расходами на GPU.
• Пакетный вывод с высокой пропускной способностью — генерация эмбеддингов, подписей или преобразованного медиа для миллионов объектов означает, что объём вывода может значительно превышать входящий трафик. Этот вывод становится исходящим трафиком в момент, когда он покидает провайдера.
• Рендеринг и видео — готовые кадры и закодированное видео большие по размеру и почти всегда скачиваются обратно в хранилище или для доставки, что делает рендеринг одной из самых чувствительных к исходящему трафику рабочих нагрузок GPU.
• Мультиоблачные и гибридные конвейеры — перемещение набора данных или модели между хостом GPU и отдельным объектным хранилищем, векторной базой данных или уровнем обслуживания пересекает сетевую границу каждый раз, и каждое такое пересечение может учитываться.
• Обслуживание моделей для реальных пользователей — если сам GPU-сервер отвечает на API-запросы, каждый ответный токен или изображение, передаваемое клиенту, является исходящим трафиком.

Нулевая плата за исходящий трафик устраняет часть счёта, которая масштабируется в зависимости от того, насколько вы фактически используете результаты своих вычислений. Для экспериментов это почти не заметно; для производственных конвейеров, которые передают гигабайты в час, это может стать решающим фактором между двумя провайдерами с одинаковыми почасовыми ставками GPU.

Мелкий шрифт за “отсутствием платы за исходящий трафик”

Не каждое утверждение о “бесплатном исходящем трафике” охватывает одно и то же, и именно сноски становятся сюрпризом для покупателей. При сравнении приведённых выше вариантов проверьте, что именно подразумевает провайдер:

• Действительно неучитываемый публичный исходящий трафик — любое скачивание в открытый интернет бесплатно, без платы за гигабайт. Это самая сильная форма и наиболее полезная для производственного обслуживания.
• Только бесплатный внутренний исходящий трафик — передача бесплатна, если остаётся внутри региона или магистрали провайдера, но выход в публичный интернет или другое облако всё ещё тарифицируется. Полезно только если ваше хранилище и вычисления находятся у одного и того же поставщика.
• Щедрый бесплатный лимит, затем тарификация — фиксированное количество бесплатных гигабайт или терабайт в месяц, после чего применяются обычные тарифы на исходящий трафик. Подходит для небольших задач, ловушка для задач с большим объёмом.
• Ограниченная по пропускной способности “бесплатность” — плата за гигабайт отсутствует, но скорость порта ограничена, поэтому большие передачи идут медленно, а не дорого. Вы платите временем работы GPU, а не деньгами.
• Исходящий трафик бесплатен, но исходящий трафик хранилища тарифицируется отдельно — извлечение из подключённого блочного хранилища может быть бесплатным, а из отдельного объектного хранилища — нет. Граница тарификации — это то, что оплачивается.

Существует реальный компромисс. Провайдер, включающий бесплатный исходящий трафик, может иметь немного более высокую почасовую ставку GPU, поскольку стоимость пропускной способности должна где-то учитываться. Для рабочих нагрузок с малым исходящим трафиком — длительные обучения с сохранением контрольных точек на месте или интерактивная работа в ноутбуках — может быть дешевле платить меньшую почасовую ставку с платным исходящим трафиком, который вы редко используете. Правильный выбор полностью зависит от вашего соотношения вывода к вычислениям.

Что проверить перед заключением договора

• Применяется ли бесплатный исходящий трафик к публичному интернету или только к передаче внутри провайдера.
• Любые месячные лимиты на бесплатный объём и тариф за гигабайт после их превышения.
• Ограничение скорости порта/пропускной способности, поскольку “бесплатно, но медленно” всё равно стоит вам времени работы GPU, пока данные передаются.
• Учитывается ли извлечение из хранилища (чтение из объектного хранилища, экспорт снимков) отдельно от сетевого исходящего трафика.
• Как политика взаимодействует с спотовыми или прерываемыми инстансами — возможно, потребуется быстро эвакуировать данные при возврате узла, и платный исходящий трафик в сжатые сроки может быть болезненным.

Чтение сравнения выше по исходящему трафику

Оцените свой исходящий трафик перед чтением таблицы: примерно сколько гигабайт покидает платформу за один запуск, умножьте на количество запусков в месяц. Сопоставьте это с почасовой ставкой GPU, указанной выше. Хост с нулевой платой за исходящий трафик и немного более высокой почасовой ценой часто выигрывает для производственного обслуживания, пакетного вывода и рендеринга, где объём вывода высок и предсказуем. Для задач с интенсивным обучением и малым объёмом вывода сначала учитывайте более низкую почасовую ставку и рассматривайте исходящий трафик как второстепенный фактор. Поскольку политики пропускной способности и цены меняются, используйте актуальное сравнение выше для текущих почасовых ставок и подтверждайте условия исходящего трафика каждого провайдера согласно перечисленным здесь пунктам.

Часто задаваемые вопросы

Означает ли “ноль платы за исходящий трафик”, что весь мой трафик бесплатен?

Не всегда. Это надёжно означает, что исходящий трафик не облагается платой за гигабайт, но некоторые провайдеры ограничивают это трафиком, остающимся внутри их собственной сети, или включают только фиксированный месячный лимит перед началом тарификации. Входящий трафик (ингресс) почти повсеместно бесплатен, поэтому именно утверждение об исходящем трафике стоит проверять.

Насколько реально плата за исходящий трафик может увеличить счёт за GPU?

Это полностью зависит от объёма вывода. Несколько экспериментальных ноутбуков генерируют незначительный исходящий трафик, так что плата — это погрешность округления. Производственный конвейер, экспортирующий большие контрольные точки, рендерящий видео или обслуживающий ответы моделей для пользователей, может передавать терабайты в месяц, и в этом случае платный исходящий трафик может стать значительной частью общей суммы — иногда приближаясь к стоимости вычислений.

Всегда ли мне следует выбирать провайдера с нулевой платой за исходящий трафик?

Нет. Бесплатный исходящий трафик иногда сопровождается немного более высокой почасовой ставкой GPU. Если ваша нагрузка сохраняет данные на месте — длительные обучения, интерактивная разработка — вы можете платить меньше в целом, выбрав более низкую почасовую ставку с платным исходящим трафиком, который вы редко используете. Соотносите политику с вашим соотношением вывода к вычислениям, а не рассматривайте нулевой исходящий трафик как автоматически лучший вариант.

Бесплатный исходящий трафик когда-нибудь ограничивается по скорости?

Да. Некоторые провайдеры не берут плату за гигабайт, но ограничивают скорость порта, поэтому большой экспорт идёт медленно, а не дорого. Поскольку часы работы GPU могут продолжать идти, пока данные передаются, “бесплатно, но медленно” всё равно имеет реальную стоимость в GPU-часах. Всегда проверяйте ограничение пропускной способности вместе с ценообразованием.