Лучшие облачные провайдеры GPU с NVIDIA RTX 3090

Что такое RTX 3090 на самом деле и почему она до сих пор встречается в облачных парках

NVIDIA GeForce RTX 3090 была выпущена в 2020 году как флагман поколения Ampere, построенного на кристалле GA102. Она сочетает в себе крупный потребительский GPU с внушительными 24 ГБ памяти GDDR6X на 384-битной шине, обеспечивая примерно 936 ГБ/с пропускной способности памяти. Именно это сочетание большого объёма видеопамяти и высокой пропускной способности по цене для потребителя сделало карту рабочей лошадкой в бюджетных облачных GPU-парках и объясняет, почему она продолжает появляться в сравнении спустя годы после релиза.

Поскольку это карта поколения Ampere, RTX 3090 оснащена тензорными ядрами третьего поколения и RT-ядрами второго поколения. Для задач ИИ важны тензорные ядра: они ускоряют математику смешанной точности FP16 и BF16, а также INT8 и INT4 для инференса. Карта также поддерживает функцию структурированной разреженности Ampere для дополнительной пропускной способности на совместимых моделях. Чего у неё нет — так это поддержки FP8, которая появилась с последующими поколениями Hopper и Ada Lovelace, поэтому рабочие процессы, специально оптимизированные под FP8, здесь не получат выгоды.

Характеристики, важные при аренде

• Память: 24 ГБ GDDR6X. Это самый важный показатель для арендаторов. Этого достаточно для тонкой настройки или инференса многих моделей в диапазоне 7B–13B параметров с квантизацией, а также для комфортной работы с большинством рендеринговых и научных сцен.
• Пропускная способность: примерно 936 ГБ/с, что обеспечивает достаточное питание большого пула памяти для инференса и этапов обучения, ограниченных памятью.
• Поддержка точности: FP32, TF32, FP16, BF16, INT8, INT4 — FP8 отсутствует. Тензорные ядра ускоряют пути с низкой точностью, используемые в современных ML-моделях.
• Интерконнект: PCIe Gen 4 с опциональным NVLink между ровно двумя картами. 3090 — последняя карта GeForce с поддержкой NVLink, что даёт парной конфигурации более быструю связь GPU-GPU, чем только PCIe.
• Энергопотребление и тепловой класс: плата на 350 Вт, что является значительной нагрузкой и одной из причин, почему хосты часто предлагают её в виде инстансов с одной или двумя картами, а не плотных 8-карточных узлов.

Практическое замечание: RTX 3090 — потребительская карта и, согласно лицензии драйверов NVIDIA, не предназначена для масштабного развертывания в дата-центрах так, как карты серии A и более поздние профессиональные модели. В облачных парках её часто можно найти в сообществе или на пиринговых маркетплейсах, а не у ведущих гипермасштаберов, что частично объясняет её низкую стоимость.

Задачи, для которых она действительно подходит

Буфер в 24 ГБ — это главное преимущество. Он открывает задачи, которые просто не помещаются на картах с 8–16 ГБ, при этом сохраняя стоимость значительно ниже, чем у датацентровых ускорителей. Хорошие варианты использования включают:

• Тонкую настройку моделей малого и среднего размера с LoRA/QLoRA, где количество параметров умеренно, но требуется место для состояний оптимизатора и разумный размер батча.
• Инференс на квантизированных языковых моделях 7B–13B, а также комфортный инференс большинства диффузионных и визуальных моделей.
• 3D рендеринг и создание контента — карта изначально разработана для графики, поэтому трассировка путей с ускорением OptiX, Blender Cycles и аналогичные пайплайны работают хорошо и напрямую выигрывают от 24 ГБ для больших текстур и геометрии.
• Эксперименты, прототипирование и обучение, когда нужна мощная GPU без обязательств по высоким почасовым ставкам.

Она избыточна для крошечных моделей или лёгких экспериментов в ноутбуках, которые помещаются на более дешёвых картах с 8–12 ГБ, и недостаточно мощна для обучения на переднем крае. Обучение крупной модели с нуля или распределённое обучение на нескольких узлах требует датацентровых GPU с памятью HBM и NVLink/NVSwitch — ограничение NVLink на две карты и масштабирование через PCIe делают 3090 неудобной для плотных мульти-GPU кластеров. Реальный масштабный инференс с высокой конкуренцией обычно лучше обслуживается новыми картами с FP8 и более высокой пропускной способностью на доллар.

Контекст стоимости аренды и доступности

По стоимости RTX 3090 уверенно занимает бюджетный сегмент аренды GPU — значительно дешевле оборудования класса A100/H100 и даже новейших профессиональных карт Ada, при этом предлагая больше видеопамяти, чем многие варианты с похожей ценой. Поскольку это старый потребительский чип, поставки обычно идут из прерываемых, спотовых и сообществом хостируемых ресурсов, поэтому доступность может колебаться, а конкретный хост может отзывать инстансы. Для точных текущих почасовых ставок и наличия у провайдеров используйте живое сравнение выше, а не фиксированные цифры, так как цены меняются в зависимости от спроса и сильно различаются между on-demand и interruptible предложениями.

Часто задаваемые вопросы

Сколько видеопамяти у RTX 3090 и достаточно ли её для LLM?

У неё 24 ГБ GDDR6X. Этого достаточно для запуска и тонкой настройки многих моделей до примерно 13B параметров с квантизацией (например, 4-битный QLoRA), а также для комфортного инференса квантизированных моделей. Модели значительно больше обычно требуют несколько карт или датацентровый GPU с большим объёмом памяти.

Можно ли связать две RTX 3090 при аренде?

Да, 3090 поддерживает NVLink между двумя картами, и некоторые хосты предлагают парные конфигурации. Это даёт более быструю связь, чем только PCIe, для задач с двумя GPU. Однако NVLink ограничен именно парой — нет fabric типа NVSwitch — поэтому это не масштабируется эффективно для плотных 4- и 8-карточных узлов, используемых для крупномасштабного распределённого обучения.

Поддерживает ли RTX 3090 FP8 или новейшие форматы точности?

Нет. Как карта Ampere, она поддерживает FP32, TF32, FP16, BF16, INT8 и INT4 через тензорные ядра третьего поколения, а также структурированную разреженность. FP8 был введён в более поздних поколениях Hopper и Ada Lovelace, поэтому если ваш рабочий процесс зависит от FP8, вам нужна более новая GPU.

Почему RTX 3090 дешевле датацентровых GPU?

Это потребительская графическая карта 2020 года с памятью GDDR6X вместо HBM, и она не предназначена для плотного развертывания в дата-центрах. Часто она поставляется из прерываемых или сообществом хостируемых ресурсов. Это поддерживает низкие почасовые ставки, но с компромиссом в виде менее предсказуемой доступности и меньшей пиковой пропускной способности по сравнению с современными ускорителями на базе HBM.