Облачные провайдеры GPU с нулевой платой за исходящий трафик

Что на самом деле означает “ноль платы за исходящий трафик” при аренде облачных GPU

Исходящий трафик — это данные, которые покидают сеть провайдера — байты, которые вы скачиваете из облака на свой ноутбук, в другое облако или конечным пользователям. Многие инфраструктурные платформы измеряют этот трафик и выставляют счёт за гигабайт, при этом взимая мало или ничего за входящий трафик (данные, поступающие внутрь). Хост GPU с обещанием “ноль платы за исходящий трафик” или “$0 за исходящий трафик” гарантирует, что извлечение ваших данных не стоит ничего сверх уже арендованного вычислительного времени. На GPU-платформе это важное отличие, поскольку задачи ИИ и рендеринга обычно требуют большого объёма данных на выходе: контрольные точки моделей, экспортированные веса, отрендеренные кадры, результаты пакетного инференса и синтетические наборы данных — всё это должно куда-то передаваться после завершения работы GPU.

Причина, по которой исходящий трафик тарифицируется отдельно, заключается в том, что пропускная способность к публичному интернету — это реальная входящая стоимость для провайдеров. Платформы, рекламирующие отсутствие платы за исходящий трафик, либо включают эту стоимость в почасовую ставку GPU, работают в сети с дешёвым транзитом, либо ограничивают бесплатный трафик только тем, что остаётся внутри их собственной магистрали. Понять, какой из этих вариантов применим к каждому из приведённых выше вариантов, — вот в чём суть.

Почему исходящий трафик важен для реальных рабочих процессов на GPU

Почасовая цена GPU — это только одна строка в счёте. Для задач с интенсивным использованием данных передача может тихо превратиться во второй счёт — и в отличие от вычислений, её трудно предсказать заранее. Ценообразование исходящего трафика особенно ощутимо в следующих случаях:

• Обучение с экспортом больших контрольных точек — модели с миллиардами параметров создают контрольные точки размером в десятки или сотни гигабайт. Если вы часто делаете снимки и копируете каждый за пределы платформы, тарификация исходящего трафика может соперничать с расходами на GPU.
• Пакетный инференс с высокой пропускной способностью — генерация эмбеддингов, подписей или преобразованного медиа для миллионов элементов означает, что объём выходных данных может значительно превышать входные. Этот выходной трафик считается исходящим с момента выхода из сети провайдера.
• Рендеринг и видео — готовые кадры и закодированное видео занимают много места и почти всегда скачиваются обратно для хранения или доставки, что делает рендеринг одной из самых чувствительных к исходящему трафику задач на GPU.
• Мультиоблачные и гибридные конвейеры — перемещение набора данных или модели между хостом GPU и отдельным объектным хранилищем, векторной базой данных или уровнем обслуживания пересекает сетевую границу каждый раз, и каждое такое пересечение может тарифицироваться.
• Обслуживание моделей для реальных пользователей — если сам GPU-сервер отвечает на API-запросы, каждый токен ответа или изображение, передаваемое клиенту, считается исходящим трафиком.

Отсутствие платы за исходящий трафик устраняет часть счёта, которая масштабируется в зависимости от того, насколько вы действительно используете результаты своих вычислений. Для экспериментов это почти не заметно; для производственных конвейеров, которые передают гигабайты в час, это может стать решающим фактором между двумя провайдерами с одинаковыми почасовыми ставками GPU.

Мелкий шрифт за “отсутствием платы за исходящий трафик”

Не каждое утверждение о “бесплатном исходящем трафике” охватывает одно и то же, и именно сноски становятся сюрпризом для покупателей. При сравнении приведённых выше вариантов внимательно проверяйте, что именно имеет в виду провайдер:

• Действительно немеренный публичный исходящий трафик — любой скачиваемый трафик в открытый интернет бесплатен, без платы за гигабайт. Это самая сильная форма и наиболее полезная для производственного обслуживания.
• Только бесплатный внутренний исходящий трафик — передача бесплатна, если остаётся внутри региона или магистрали провайдера, но выход в публичный интернет или другое облако всё ещё тарифицируется. Полезно только если ваше хранилище и вычисления находятся у одного и того же поставщика.
• Щедрый бесплатный лимит, затем тарификация — фиксированное количество бесплатных гигабайт или терабайт в месяц, после чего применяются обычные тарифы на исходящий трафик. Подходит для небольших задач, ловушка для задач с большим объёмом данных.
• Ограниченная по пропускной способности “бесплатность” — нет платы за гигабайт, но скорость порта ограничена, поэтому большие передачи идут медленно, а не дорого. Вы платите временем работы GPU, а не деньгами.
• Исходящий трафик бесплатен, но исходящий трафик хранилища тарифицируется отдельно — извлечение данных из подключенного блочного хранилища может быть бесплатным, а из отдельного объектного хранилища — нет. Граница тарификации — это то, что оплачивается.

Существует реальный компромисс. Провайдер, включающий бесплатный исходящий трафик, может иметь немного более высокую почасовую ставку GPU, потому что стоимость пропускной способности должна где-то учитываться. Для задач с малым исходящим трафиком — длительные обучения с сохранением контрольных точек или интерактивная работа в ноутбуках — дешевле может оказаться платить меньшую почасовую ставку с тарифицированным исходящим трафиком, который вы редко используете. Правильный выбор зависит полностью от соотношения объёма вывода к вычислениям.

Что проверить перед заключением договора

• Применяется ли бесплатный исходящий трафик к публичному интернету или только к передаче внутри провайдера.
• Любые месячные лимиты на бесплатный объём и тариф за гигабайт после их превышения.
• Ограничение порта/пропускной способности, поскольку “бесплатно, но медленно” всё равно стоит вам GPU-часы во время передачи данных.
• Учитывается ли извлечение из хранилища (чтение из объектного хранилища, экспорт снимков) отдельно от сетевого исходящего трафика.
• Как политика взаимодействует с спотовыми или прерываемыми инстансами — возможно, придётся быстро эвакуировать данные при возврате узла, и тарификация исходящего трафика по срокам становится болезненной.

Чтение приведённого выше сравнения по исходящему трафику

Оцените свой исходящий трафик перед чтением таблицы: примерно сколько гигабайт покидает платформу за один запуск, умножьте на количество запусков в месяц. Сопоставьте это с почасовой ставкой GPU, указанной выше. Хост с нулевой платой за исходящий трафик и немного более высокой почасовой ценой часто выигрывает для производственного обслуживания, пакетного инференса и рендеринга, где объём вывода велик и предсказуем. Для задач с интенсивным обучением и малым объёмом вывода сначала рассмотрите более низкую почасовую ставку и воспринимайте исходящий трафик как второстепенный фактор. Поскольку политики пропускной способности и цены меняются, используйте приведённое выше живое сравнение для актуальных почасовых ставок и подтверждайте условия исходящего трафика каждого провайдера по перечисленным здесь пунктам.

Часто задаваемые вопросы

Означает ли “ноль платы за исходящий трафик”, что весь мой трафик бесплатен?

Не всегда. Это надёжно означает, что исходящий трафик не тарифицируется за гигабайт, но некоторые провайдеры ограничивают это только трафиком внутри своей сети или включают лишь фиксированный месячный лимит перед началом тарификации. Входящий трафик (ингресс) почти всегда бесплатен, поэтому именно утверждение об исходящем трафике стоит проверять.

Насколько реально могут увеличиться расходы на GPU из-за платы за исходящий трафик?

Это полностью зависит от объёма вывода. Несколько экспериментальных ноутбуков генерируют незначительный исходящий трафик, поэтому плата — это погрешность округления. Производственный конвейер, который экспортирует большие контрольные точки, рендерит видео или обслуживает ответы моделей пользователям, может передавать терабайты в месяц, и тогда тарификация исходящего трафика может составлять значительную долю от общей суммы — иногда приближаясь к стоимости вычислений.

Стоит ли всегда выбирать провайдера с нулевой платой за исходящий трафик?

Нет. Бесплатный исходящий трафик иногда сопровождается немного более высокой почасовой ставкой GPU. Если ваша задача оставляет данные на месте — длительные обучения, интерактивная разработка — вы можете платить меньше в целом, выбрав более низкую почасовую ставку и редко используемый тарифицированный исходящий трафик. Подбирайте политику в соответствии с соотношением вывода к вычислениям, а не рассматривайте нулевую плату за исходящий трафик как автоматически лучшее решение.

Бесплатный исходящий трафик когда-нибудь ограничивается по скорости?

Да. Некоторые провайдеры не берут плату за гигабайт, но ограничивают скорость порта, поэтому большой экспорт идёт медленно, а не дорого. Поскольку часы работы GPU могут продолжать идти во время передачи данных, “бесплатно, но медленно” всё равно имеет реальную стоимость в GPU-часах. Всегда проверяйте ограничение пропускной способности вместе с ценообразованием.