Облачные провайдеры GPU с нулевой платой за исходящий трафик

Что на самом деле означает “ноль платы за исходящий трафик” при аренде облачных GPU

Исходящий трафик — это данные, покидающие сеть провайдера — байты, которые вы загружаете из облака на свой ноутбук, в другое облако или конечным пользователям. Многие инфраструктурные платформы измеряют этот трафик и выставляют счёт за гигабайт, при этом взимая мало или ничего за входящий трафик (данные, поступающие в сеть). Хост GPU с обещанием “ноль платы за исходящий трафик” или “$0 за исходящий трафик” гарантирует, что извлечение ваших данных не стоит ничего сверх уже арендованных вычислительных ресурсов. На GPU-платформе это важное отличие, поскольку рабочие нагрузки AI и рендеринга обычно очень интенсивны по данным на выходе: контрольные точки моделей, экспортированные веса, отрендеренные кадры, результаты пакетного вывода и синтетические наборы данных — всё это должно куда-то передаваться после завершения работы GPU.

Причина отдельного ценообразования исходящего трафика в том, что пропускная способность к публичному интернету — это реальная входящая стоимость для провайдеров. Платформы, рекламирующие отсутствие платы за исходящий трафик, либо включают эту стоимость в почасовую ставку GPU, работают в сети с дешёвым транзитом, либо ограничивают бесплатный трафик только тем, что остаётся внутри их собственного магистрального канала. Понять, какой из этих вариантов применим к каждому пункту в приведённом выше сравнении — вот в чём суть.

Почему исходящий трафик важен для реальных рабочих процессов с GPU

Почасовая цена GPU — это только одна строка в счёте. Для задач с интенсивным обменом данными передача может тихо превратиться во второй счёт — и в отличие от вычислений, её трудно предсказать заранее. Ценообразование исходящего трафика особенно ощутимо в следующих сценариях:

• Обучение с экспортом больших контрольных точек — модели с миллиардами параметров создают контрольные точки размером в десятки или сотни гигабайт. Если вы часто делаете снимки состояния и копируете каждый за пределы платформы, платный исходящий трафик может соперничать с расходами на GPU.
• Пакетный вывод с высокой пропускной способностью — генерация эмбеддингов, подписей или преобразованного медиа для миллионов элементов означает, что объём выходных данных может значительно превышать входные. Этот выход становится исходящим трафиком в момент покидания провайдера.
• Рендеринг и видео — готовые кадры и закодированное видео большие по размеру и почти всегда загружаются обратно в хранилище или для доставки, что делает рендеринг одной из самых чувствительных к исходящему трафику GPU-задач.
• Мультиоблачные и гибридные конвейеры — перемещение набора данных или модели между хостом GPU и отдельным объектным хранилищем, векторной базой данных или уровнем обслуживания пересекает сетевую границу каждый раз, и каждое такое пересечение может тарифицироваться.
• Обслуживание моделей для реальных пользователей — если сам GPU-сервер отвечает на API-запросы, каждый ответный токен или изображение, передаваемое клиенту, является исходящим трафиком.

Ноль платы за исходящий трафик устраняет часть счёта, которая масштабируется в зависимости от того, насколько вы фактически используете результаты своих вычислений. Для экспериментов это почти не заметно; для производственных конвейеров, которые отправляют гигабайты в час, это может стать решающим фактором между двумя провайдерами с одинаковыми почасовыми ставками GPU.

Мелкий шрифт за “отсутствием платы за исходящий трафик”

Не каждое заявление о “бесплатном исходящем трафике” охватывает одно и то же, и именно звёздочки вызывают удивление у покупателей. При сравнении приведённых выше пунктов внимательно проверьте, что именно подразумевает провайдер:

• Действительно немеренный публичный исходящий трафик — любой скачиваемый трафик в открытый интернет бесплатен, без платы за гигабайт. Это самая сильная форма и наиболее полезная для производственного обслуживания.
• Только бесплатный внутренний исходящий трафик — передача бесплатна, если остаётся внутри региона или магистрали провайдера, но выход в публичный интернет или другое облако всё ещё тарифицируется. Полезно только если ваше хранилище и вычисления находятся у одного и того же поставщика.
• Щедрый бесплатный лимит, затем тарификация — фиксированное количество бесплатных гигабайт или терабайт в месяц, после чего применяются обычные ставки за исходящий трафик. Подойдёт для небольших задач, ловушка для больших объёмов.
• Ограниченный по пропускной способности “бесплатный” — плата за гигабайт отсутствует, но скорость порта ограничена, поэтому большие передачи идут медленно, а не дорого. Вы платите временем работы GPU вместо денег.
• Исходящий трафик бесплатен, но исходящий трафик хранилища тарифицируется отдельно — извлечение данных из подключённого блочного хранилища может быть бесплатным, а из отдельного объектного хранилища — нет. Граница тарификации — это то, что оплачивается.

Существует реальный компромисс. Провайдер, включающий бесплатный исходящий трафик, может иметь немного более высокую почасовую ставку GPU, поскольку стоимость пропускной способности должна где-то отражаться. Для задач с малым исходящим трафиком — длительные обучения с сохранением контрольных точек на месте или интерактивная работа в ноутбуках — может быть выгоднее платить меньшую почасовую ставку с платным исходящим трафиком, который вы редко используете. Правильный выбор зависит полностью от соотношения объёма вывода к вычислительным ресурсам.

Что проверить перед заключением договора

• Применяется ли бесплатный исходящий трафик к публичному интернету или только к передаче внутри провайдера.
• Любые месячные лимиты на бесплатный объём и ставка за гигабайт после их превышения.
• Ограничение по скорости порта/пропускной способности, поскольку “бесплатно, но медленно” всё равно стоит вам GPU-часов, пока данные передаются.
• Учитывается ли извлечение из хранилища (чтение из объектного хранилища, экспорт снимков) отдельно от сетевого исходящего трафика.
• Как политика взаимодействует с спотовыми или прерываемыми инстансами — возможно, потребуется быстро эвакуировать данные при возврате узла, и платный исходящий трафик в условиях жёстких сроков — это боль.

Чтение приведённого выше сравнения по исходящему трафику

Оцените свой исходящий трафик перед просмотром таблицы: примерно сколько гигабайт покидает платформу за один запуск, умножьте на количество запусков в месяц. Сопоставьте это с почасовой ставкой GPU, указанной выше. Хост с нулевым исходящим трафиком и немного более высокой почасовой ценой часто выигрывает для производственного обслуживания, пакетного вывода и рендеринга, где объём вывода велик и предсказуем. Для задач с интенсивным обучением и малым объёмом вывода сначала учитывайте более низкую почасовую ставку и рассматривайте исходящий трафик как второстепенный фактор. Поскольку политики и цены на пропускную способность меняются, используйте приведённое выше живое сравнение для актуальных почасовых ставок и подтверждайте условия исходящего трафика каждого провайдера по перечисленным здесь пунктам.

Часто задаваемые вопросы

Означает ли “ноль платы за исходящий трафик”, что весь мой трафик бесплатен?

Не всегда. Надёжно означает, что исходящий трафик не тарифицируется за гигабайт, но некоторые провайдеры ограничивают это трафиком внутри своей сети или включают только фиксированный месячный лимит перед началом тарификации. Входящий трафик (ингресс) почти везде бесплатен, поэтому именно заявление об исходящем трафике стоит проверять.

Насколько реально плата за исходящий трафик может увеличить счёт за GPU?

Это полностью зависит от объёма вывода. Несколько экспериментальных ноутбуков генерируют незначительный исходящий трафик, и плата — это погрешность округления. Производственный конвейер, экспортирующий большие контрольные точки, рендерящий видео или обслуживающий ответы модели пользователям, может передавать терабайты в месяц, и тогда платный исходящий трафик может составлять значительную часть общего счёта — иногда приближаясь к стоимости вычислений.

Всегда ли следует выбирать провайдера с нулевой платой за исходящий трафик?

Нет. Бесплатный исходящий трафик иногда сопровождается немного более высокой почасовой ставкой GPU. Если ваша нагрузка сохраняет данные на месте — длительные обучения, интерактивная разработка — вы можете платить меньше в целом с более дешёвой почасовой ставкой и платным исходящим трафиком, который вы редко используете. Подбирайте политику под соотношение вывода к вычислениям, а не считайте нулевой исходящий трафик автоматически лучше.

Бесплатный исходящий трафик когда-нибудь ограничивается по скорости?

Да. Некоторые провайдеры предлагают отсутствие платы за гигабайт, но ограничивают скорость порта, поэтому большой экспорт идёт медленно, а не дорого. Поскольку часы работы GPU могут продолжать идти, пока данные передаются, “бесплатно, но медленно” всё равно имеет реальную стоимость в GPU-часах. Всегда проверяйте ограничение пропускной способности вместе с ценообразованием.