Найкращі постачальники хмарних GPU з NVIDIA RTX 3090

Що таке RTX 3090 насправді і чому він досі з’являється у хмарних парках

NVIDIA GeForce RTX 3090 був випущений у 2020 році як флагман покоління Ampere, побудований на кристалі GA102. Він поєднує великий споживчий GPU з щедрим 24 ГБ пам’яті GDDR6X на 384-бітній шині, забезпечуючи приблизно 936 ГБ/с пропускної здатності пам’яті. Саме це поєднання великого обсягу VRAM і високої пропускної здатності за споживчою ціною зробило цю карту робочою конячкою в бюджетних хмарних GPU-парках і чому вона продовжує з’являтися у порівняннях навіть через роки після релізу.

Оскільки це карта покоління Ampere, RTX 3090 має тензорні ядра третього покоління та RT-ядра другого покоління. Для роботи з ШІ релевантними є тензорні ядра: вони прискорюють FP16 та BF16 змішаної точності обчислення, а також INT8 і INT4 для інференсу. Карта також підтримує функцію структурованої розрідженості Ampere для додаткової пропускної здатності на сумісних моделях. Чого вона не має, так це підтримки FP8 — ця функція з’явилася у пізніших поколіннях Hopper та Ada Lovelace — тому робочі процеси, спеціально налаштовані під FP8, тут не отримають вигоди.

Характеристики, що мають значення при оренді

• Пам’ять: 24 ГБ GDDR6X. Це найважливіше число для орендарів. Цього достатньо, щоб тонко налаштовувати або запускати інференс на багатьох моделях у діапазоні 7B–13B параметрів з квантизацією, а також комфортно обробляти більшість сцен для рендерингу та наукових завдань.
• Пропускна здатність: приблизно 936 ГБ/с, що забезпечує достатнє живлення великого пулу пам’яті для кроків інференсу та тренування, обмежених пам’яттю.
• Підтримка точності: FP32, TF32, FP16, BF16, INT8, INT4 — без FP8. Тензорні ядра прискорюють шляхи з нижчою точністю, які використовуються в сучасному машинному навчанні.
• Інтерконект: PCIe Gen 4, з опційним NVLink між рівно двома картами. 3090 — остання карта GeForce, що має міст NVLink, що дає парній конфігурації швидше з’єднання GPU-до-GPU, ніж лише PCIe.
• Клас споживання енергії та тепловиділення: плата на 350 Вт, що є значним споживанням і частково пояснює, чому хости часто пропонують її як одиночний або подвійний інстанс, а не як щільні 8-карткові вузли.

Практичне зауваження: RTX 3090 — це споживча карта, і за ліцензією драйверів NVIDIA вона не призначалася для масштабного розгортання в датацентрах, як серія A та пізніші професійні карти. У хмарних парках її часто можна знайти у спільнотних або peer-to-peer маркетплейсах, а не у провідних гіпермасштаберах, що частково пояснює її низьку ціну.

Задачі, для яких вона дійсно підходить

Обсяг пам’яті 24 ГБ — це головна перевага. Вона відкриває можливості для завдань, які просто не поміщаються на картах з 8–16 ГБ, при цьому зберігаючи вартість значно нижчою за датацентрові прискорювачі. Хороші варіанти використання включають:

• Тонке налаштування малих та середніх моделей з LoRA/QLoRA, де кількість параметрів помірна, але потрібен простір для станів оптимізатора і розумний розмір батча.
• Інференс на квантизованих мовних моделях 7B–13B, а також комфортний інференс на більшості дифузійних та візуальних моделей.
• 3D рендеринг та створення контенту — карта була розроблена для графіки, тому трасування променів з прискоренням OptiX, Blender Cycles та подібні конвеєри працюють добре і безпосередньо виграють від 24 ГБ для великих текстур і геометрії.
• Експерименти, прототипування та навчання, коли потрібен потужний GPU без необхідності платити преміум за годину роботи.

Вона є надмірною для крихітних моделей або легких експериментів у ноутбуках, що поміщаються на дешевших картах з 8–12 ГБ, і недостатньо потужною для тренування на передовому рівні. Навчання великої моделі з нуля або запуск розподіленого тренування на кількох вузлах вимагає датацентрових GPU з HBM-пам’яттю та NVLink/NVSwitch інфраструктурою — двокартковий NVLink 3090 і масштабування на основі PCIe роблять її поганим вибором для щільних мульти-GPU кластерів. Інференс у реальному часі з високою конкуренцією зазвичай краще виконувати на новіших картах з FP8 і вищою пропускною здатністю за долар.

Контекст вартості оренди та доступності

За шкалою вартості RTX 3090 міцно стоїть у бюджетному сегменті оренди GPU — значно дешевше за обладнання класу A100/H100 і навіть за новіші професійні карти Ada, при цьому пропонуючи більше VRAM, ніж багато інших варіантів за схожу ціну. Оскільки це старіший споживчий чип, пропозиція зазвичай надходить із переривчастої, спотової та спільнотної ємності, тому доступність може коливатися, і конкретний хост може відкликати інстанси. Для точних, актуальних погодинних тарифів і наявності у провайдерів використовуйте живе порівняння вище, а не фіксовані цифри, оскільки ціни змінюються залежно від попиту і суттєво відрізняються між on-demand та interruptible пропозиціями.

Часті запитання

Скільки VRAM має RTX 3090 і чи достатньо її для LLM?

Вона має 24 ГБ GDDR6X. Цього достатньо, щоб запускати і тонко налаштовувати багато моделей до приблизно 13-мільярдного діапазону параметрів з квантизацією (наприклад, 4-бітний QLoRA), а також комфортно обслуговувати квантизований інференс. Моделі значно більші за цей розмір зазвичай потребують кількох карт або датацентрового GPU з більшим обсягом VRAM.

Чи можна зв’язати дві RTX 3090 при оренді?

Так, 3090 підтримує NVLink між двома картами, і деякі хости пропонують парні конфігурації. Це дає швидше з’єднання, ніж лише PCIe, для завдань з двома GPU. Однак NVLink обмежений парами — немає NVSwitch-подібної інфраструктури — тому це не масштабовано для щільних 4- і 8-GPU вузлів, які використовуються для великого розподіленого тренування.

Чи підтримує RTX 3090 FP8 або найновіші формати точності?

Ні. Як карта Ampere вона підтримує FP32, TF32, FP16, BF16, INT8 і INT4 через тензорні ядра третього покоління, а також структуровану розрідженість. FP8 було введено у пізніших поколіннях Hopper та Ada Lovelace, тому якщо ваш робочий процес спеціально покладається на FP8, вам потрібен новіший GPU.

Чому RTX 3090 дешевший за датацентрові GPU?

Це споживча графічна карта 2020 року з пам’яттю GDDR6X замість HBM, і вона не була розроблена для щільного розгортання в датацентрах. Вона часто надходить із переривчастої або спільнотної ємності. Це утримує погодинні тарифи низькими, з компромісом менш передбачуваної доступності та нижчої пікової пропускної здатності порівняно з сучасними прискорювачами на основі HBM.