Облачные провайдеры GPU с нулевой платой за исходящий трафик

Что на самом деле означает “ноль платы за исходящий трафик” при аренде облачных GPU

Исходящий трафик — это данные, покидающие сеть провайдера — байты, которые вы скачиваете из облака на свой ноутбук, в другое облако или конечным пользователям. Многие инфраструктурные платформы учитывают этот трафик и выставляют счет за гигабайт, при этом взимая мало или ничего за входящий трафик (данные, поступающие внутрь). Хост GPU с обещанием “ноль платы за исходящий трафик” или “$0 за исходящий трафик” гарантирует, что извлечение данных не стоит ничего сверх уже арендованного вычислительного времени. На GPU-платформе это важное отличие, поскольку рабочие нагрузки AI и рендеринга необычайно интенсивны по данным на выходе: контрольные точки моделей, экспортированные веса, отрендеренные кадры, результаты пакетного вывода и синтетические наборы данных — всё это должно куда-то передаваться после завершения работы GPU.

Причина, по которой исходящий трафик тарифицируется отдельно, заключается в том, что пропускная способность к публичному интернету — это реальная входящая стоимость для провайдеров. Платформы, рекламирующие отсутствие платы за исходящий трафик, либо включают эту стоимость в почасовую ставку GPU, работают в сети с дешёвым транзитом, либо ограничивают бесплатный трафик только тем, что остаётся внутри их собственной магистрали. Понять, какой из этих вариантов применим к каждому из приведённых выше примеров, — вот в чём суть.

Почему исходящий трафик важен для реальных рабочих процессов на GPU

Почасовая цена GPU — это только одна строка в счёте. Для задач с интенсивным использованием данных передача может тихо превратиться во второй счёт — и в отличие от вычислений, её сложно предсказать заранее. Ценообразование на исходящий трафик особенно ощутимо в следующих сценариях:

• Обучение с экспортом больших контрольных точек — модели с миллиардами параметров создают контрольные точки размером в десятки или сотни гигабайт. Если делать снимки часто и копировать каждый за пределы платформы, тарификация исходящего трафика может соперничать с затратами на GPU.
• Пакетный вывод с высокой пропускной способностью — генерация эмбеддингов, подписей или преобразованного медиа для миллионов объектов означает, что объём выходных данных может значительно превышать входные. Этот выходной трафик считается исходящим с момента покидания провайдера.
• Рендеринг и видео — готовые кадры и закодированное видео большие по размеру и почти всегда извлекаются обратно в хранилище или для доставки, что делает рендеринг одной из самых чувствительных к исходящему трафику GPU-задач.
• Мультиоблачные и гибридные конвейеры — перемещение набора данных или модели между хостом GPU и отдельным объектным хранилищем, векторной базой данных или уровнем обслуживания пересекает сетевую границу каждый раз, и каждое такое пересечение может учитываться.
• Обслуживание моделей для реальных пользователей — если сам GPU-сервер отвечает на API-запросы, каждый ответный токен или изображение, передаваемое клиенту, считается исходящим трафиком.

Ноль платы за исходящий трафик убирает ту часть счёта, которая растёт пропорционально тому, насколько вы используете результаты вычислений. Для экспериментов это почти не заметно; для производственных конвейеров, передающих гигабайты в час, это может стать решающим фактором между двумя провайдерами с одинаковыми почасовыми ставками GPU.

Мелкий шрифт за “без платы за исходящий трафик”

Не каждое утверждение о “бесплатном исходящем трафике” охватывает одно и то же, и именно в сносках покупатели сталкиваются с неожиданностями. При сравнении приведённых выше вариантов проверьте, что именно имеет в виду провайдер:

• Действительно немеренный публичный исходящий трафик — любой скачиваемый трафик в открытый интернет бесплатен, без платы за гигабайт. Это самая сильная форма и наиболее полезная для производственного обслуживания.
• Только бесплатный внутренний исходящий трафик — передача бесплатна, если остаётся внутри региона или магистрали провайдера, но выход в публичный интернет или другое облако всё ещё тарифицируется. Полезно только если ваше хранилище и вычисления находятся у одного и того же поставщика.
• Щедрый бесплатный лимит, затем тарификация — фиксированное количество бесплатных гигабайт или терабайт в месяц, после чего применяются обычные тарифы на исходящий трафик. Подходит для небольших задач, ловушка для задач с большим объёмом.
• Ограниченная по пропускной способности “бесплатность” — отсутствует плата за гигабайт, но скорость порта ограничена, поэтому большие передачи идут медленно, а не дорого. Вы платите временем работы GPU, а не деньгами.
• Исходящий трафик бесплатен, но исходящий трафик хранилища тарифицируется отдельно — извлечение из подключённого блочного хранилища может быть бесплатным, а из отдельного объектного хранилища — нет. Граница тарификации — это то, что оплачивается.

Существует реальная компромиссная ситуация. Провайдер, включающий бесплатный исходящий трафик, может иметь немного более высокую почасовую ставку GPU, поскольку стоимость пропускной способности должна где-то отражаться. Для рабочих нагрузок с низким исходящим трафиком — длительные обучающие сессии, где контрольные точки остаются на месте, или интерактивная работа в ноутбуках — может быть дешевле платить меньшую почасовую ставку с тарифицированным исходящим трафиком, который вы почти не используете. Правильный выбор зависит полностью от соотношения объёма вывода к вычислениям.

Что проверить перед заключением договора

• Применяется ли бесплатный исходящий трафик к публичному интернету или только к передаче внутри провайдера.
• Любые месячные лимиты на бесплатный объём и тариф за гигабайт после их превышения.
• Ограничение по порту/пропускной способности, поскольку “бесплатно, но медленно” всё равно стоит вам GPU-часы, пока данные передаются.
• Учитывается ли извлечение из хранилища (чтение из объектного хранилища, экспорт снимков) отдельно от сетевого исходящего трафика.
• Как политика взаимодействует с спотовыми или прерываемыми инстансами — возможно, потребуется быстро эвакуировать данные при возврате узла, и тарификация исходящего трафика по срокам может быть болезненной.

Чтение сравнения выше по исходящему трафику

Оцените свой исходящий трафик перед просмотром таблицы: примерно сколько гигабайт покидает платформу за один запуск, умножьте на количество запусков в месяц. Сопоставьте это с почасовой ставкой GPU, указанной выше. Хост с нулевой платой за исходящий трафик и немного более высокой почасовой ценой часто выигрывает для производственного обслуживания, пакетного вывода и рендеринга, где объём вывода высок и предсказуем. Для задач с интенсивным обучением и малым объёмом вывода сначала рассмотрите более низкую почасовую ставку и воспринимайте исходящий трафик как второстепенный фактор. Поскольку политики пропускной способности и цены меняются, используйте приведённое выше живое сравнение для актуальных почасовых ставок и подтверждайте условия исходящего трафика каждого провайдера по перечисленным здесь пунктам.

Часто задаваемые вопросы

Означает ли “ноль платы за исходящий трафик”, что весь мой трафик бесплатен?

Не всегда. Это надёжно означает, что исходящий трафик не тарифицируется за гигабайт, но некоторые провайдеры ограничивают это трафиком внутри своей сети или включают только фиксированный месячный лимит перед началом тарификации. Входящий трафик (ингресс) почти повсеместно бесплатен, поэтому именно утверждение об исходящем трафике стоит проверять.

Насколько реально могут увеличиться счета за GPU из-за платы за исходящий трафик?

Это полностью зависит от объёма вывода. Несколько экспериментальных ноутбуков генерируют незначительный исходящий трафик, поэтому плата — это погрешность округления. Производственный конвейер, экспортирующий большие контрольные точки, рендерящий видео или обслуживающий ответы модели пользователям, может перемещать терабайты в месяц, и тогда тарификация исходящего трафика может стать значительной частью общей суммы — иногда приближаясь к стоимости вычислений.

Стоит ли всегда выбирать провайдера с нулевой платой за исходящий трафик?

Нет. Бесплатный исходящий трафик иногда сопровождается немного более высокой почасовой ставкой GPU. Если ваша нагрузка держит данные на месте — длительные обучающие сессии, интерактивная разработка — вы можете платить меньше в целом с более дешёвой почасовой ставкой и редко используемым тарифицированным исходящим трафиком. Соотнесите политику с вашим соотношением вывода к вычислениям, а не считайте нулевой исходящий трафик автоматически лучше.

Бесплатный исходящий трафик когда-нибудь ограничивается по скорости?

Да. Некоторые провайдеры не берут плату за гигабайт, но ограничивают скорость порта, поэтому большой экспорт идёт медленно, а не дорого. Поскольку часы работы GPU могут продолжать идти, пока данные передаются, “бесплатно, но медленно” всё равно имеет реальную стоимость в GPU-часах. Всегда проверяйте ограничение пропускной способности вместе с тарифами.