Найкращі хмарні GPU для генеративного ШІ

Що справді вимагає генеративний ШІ від орендованого GPU

Генеративний ШІ — це широка категорія. Вона охоплює авторегресивні великі мовні моделі, генератори зображень і відео на основі дифузії, моделі тексту в аудіо та музику, а також все більше мультимодальні системи, які одночасно обробляють кілька з цих завдань. Спільним є те, що моделі великі відносно даних, які ви їм подаєте, і вузьким місцем майже завжди є пам’ять GPU, а не сира обчислювальна потужність. Перед тим як читати порівняння вище, корисно знати, які параметри мають вирішальне значення для цього навантаження.

• Обсяг VRAM визначає, що ви взагалі можете завантажити. Ваги моделі мають поміщатися в пам’ять разом з активаціями, а під час навчання — ще й зі станом оптимізатора та градієнтами. Інференс на квантизованій моделі з 7B–13B параметрів комфортно працює на одній карті з 24 ГБ, тоді як обслуговування моделі з 70B параметрів у вищій точності змушує звертатися до прискорювачів класу 80 ГБ або кількох GPU.
• Пропускна здатність пам’яті визначає пропускну здатність токенів. Генеративний інференс обмежений пам’яттю: кожен згенерований токен вимагає потокової передачі ваг моделі через обчислювальні блоки, тому пропускна здатність класу HBM (як на прискорювачах для дата-центрів) дає значно більшу кількість токенів за секунду, ніж споживчі карти на основі GDDR з таким самим обсягом VRAM.
• Підтримка низької точності тут важить більше, ніж у багатьох інших навантаженнях. Тензорні ядра, що прискорюють FP16, BF16 і особливо FP8 або INT8, дозволяють запускати більші моделі з меншою пам’яттю та більшою швидкістю. Обладнання з підтримкою FP8 є важливим диференціатором як для обслуговування, так і для навчання найновіших великих моделей.
• Інтерконект стає вирішальним, коли модель більше не поміщається на одному GPU. Високошвидкісні з’єднання, такі як NVLink, і мережеві тканини на рівні вузла для багатовузлового навчання забезпечують живлення кількох GPU, коли ваги розподілені між ними. Налаштування з кількома GPU лише через PCIe працюють, але уповільнюють навчання великих моделей і тензорно-паралельний інференс.

Підбір навантаження до відповідного рівня

«Генеративний ШІ» охоплює дуже різні потреби в оренді залежно від того, чим ви займаєтесь. Читання списку вище через цю призму допоможе заощадити гроші та уникнути розчарувань.

Інференс і обслуговування

Якщо ви розгортаєте модель для генерації тексту, зображень або аудіо для користувачів, вам потрібна найвища пропускна здатність пам’яті за долар і достатньо VRAM, щоб утримати модель плюс розумний кеш KV (пам’ять на запит, що зростає з довжиною контексту). Для чат-стилю та генерації з довгим контекстом кеш KV може бути за розміром порівнянним з вагами, тому не розраховуйте інстанс лише за вагою моделі. Квантизація до INT8 або FP8 дозволяє розміщувати більші моделі або обслуговувати більше одночасних запитів на менших картах. Для реального часу та чутливого до затримок обслуговування зазвичай краще мати один швидкий GPU на репліку, ніж розпорошувати модель на багато GPU.

Тонке налаштування та адаптація

Більшість команд, які налаштовують базову модель, використовують параметрично ефективне тонке налаштування (LoRA/QLoRA), а не повне навчання. Зокрема, QLoRA зберігає базову модель квантизованою і навчає невеликі адаптерні ваги, що суттєво знижує вимоги до VRAM — значні моделі стають налаштовуваними на одній карті з 24–48 ГБ. Повне тонке налаштування великих моделей, навпаки, потребує стану оптимізатора та градієнтів у пам’яті, що може збільшити вимоги у кілька разів і змусити вас звернутися до прискорювачів з 80 ГБ або багатокарткових вузлів із потужним інтерконектом.

Переднавчання та масштабне навчання

Навчання великої генеративної моделі з нуля — це найвимогливіший випадок. Воно домінує в масштабуванні на кілька GPU та вузлів, тому важливі пропускна здатність інтерконекту, швидке спільне сховище для безперебійного завантаження даних і надійні висококласні прискорювачі з підтримкою HBM та FP8. Тут питання доступності за запитом і дефіциту стають планувальними, і часто має більше сенсу використовувати зарезервовані чи фіксовані ресурси, ніж ганятися за найдешевшою спотовою ціною.

Як читати порівняння вище для генеративного ШІ

Таблиця відображає актуальні характеристики, але ось що слід враховувати під час перегляду:

• Спочатку VRAM, потім пропускна здатність. Відфільтруйте інстанси, які реально можуть вмістити вашу модель і її кеш KV, потім віддавайте перевагу пам’яті класу HBM для пропускної здатності інференсу.
• Один проти кількох GPU. Якщо ваша модель поміщається на одному GPU, один швидкий прискорювач простіший і зазвичай дешевший за багатокарткову систему, яку ви не зможете повністю використовувати. Звертайтеся до інстансів з NVLink лише тоді, коли модель справді розподілена між картами.
• Гранулярність оплати. Генеративні навантаження часто є імпульсивними — пакетне генерування зображень, запуск оцінювання, періодичний кінцевий пункт. Оплата за секунду або хвилину та можливість швидко зупинити інстанс захищають вас від плати за простої прискорювачів.
• Спотові проти за запитом. Переривні інстанси чудові для стійкого до збоїв пакетного генерування та тонкого налаштування з контрольними точками, але ризиковані для кінцевих точок, орієнтованих на користувача, які мають працювати безперервно.
• Сховище та вихідні дані. Ваги моделей великі для передачі, а постійне сховище для контрольних точок накопичується; перевірте, як кожен варіант стягує плату за зберігання і передачу даних, а не лише за час GPU.

Оскільки ціни та постачання найпопулярніших прискорювачів часто змінюються, сприймайте актуальні дані в порівнянні вище як джерело істини і використовуйте наведені рекомендації, щоб вирішити, які рядки взагалі варто порівнювати.

Часті запитання

Скільки VRAM мені потрібно для генеративного ШІ?

Це залежить від розміру моделі та точності. Квантизовані моделі в діапазоні 7B–13B працюють на споживчих картах з 24 ГБ, середні моделі та обслуговування з повною точністю віддають перевагу картам з 48 ГБ, а великі моделі близько 70B параметрів або більше зазвичай потребують прискорювачів класу 80 ГБ або кількох GPU разом. Завжди закладайте додаткову пам’ять для кешу KV під час генерації з довгим контекстом.

Чи слід використовувати спотові чи за запитом інстанси для генеративного ШІ?

Використовуйте спотові або переривні ресурси для стійких до збоїв завдань, таких як пакетне генерування зображень чи відео та тонке налаштування з контрольними точками, де переривання коштує лише перезапуску. Використовуйте ресурси за запитом або зарезервовані для продуктивних кінцевих точок інференсу та будь-якого тривалого навчання, яке не можна легко відновити, оскільки несподіване припинення там є значно більш руйнівним.

Чи потрібен мені 80-гігабайтний GPU для дата-центрів, чи підійде споживча карта?

Для експериментів, тонкого налаштування LoRA/QLoRA та обслуговування малих і середніх квантизованих моделей часто достатньо споживчого GPU з 24 ГБ, і він дешевший в оренді. Переходьте на прискорювачі з 80 ГБ на основі HBM, коли потрібна вища пропускна здатність пам’яті для продуктивності, прискорення FP8, NVLink для масштабування на кілька GPU або просто більше місця для великих моделей і великих пакетів.

Чому генерація токенів повільна, хоча GPU не використовується повністю?

Генеративний інференс зазвичай обмежений пропускною здатністю пам’яті, а не обчислювальною потужністю, тому можна бачити високі межі токенів за секунду, навіть коли використання обчислень виглядає низьким. Вирішення — карта з швидшою пам’яттю (HBM замість GDDR), квантизація моделі до INT8 або FP8, або обробка більшої кількості запитів разом, щоб ваги, які ви передаєте з пам’яті, обслуговували кілька генерацій одночасно.