Лучшие облачные GPU для генеративного ИИ

Что на самом деле требует генеративный ИИ от арендованного GPU

Генеративный ИИ — это широкий спектр технологий. Он охватывает авторегрессионные крупные языковые модели, генераторы изображений и видео на основе диффузии, модели преобразования текста в аудио и музыку, а также всё чаще мультимодальные системы, которые одновременно обрабатывают несколько из этих задач. Общим является то, что модели крупные относительно данных, которые вы им подаёте, и узким местом почти всегда является память GPU, а не вычислительная мощность. Перед тем как читать приведённое выше сравнение, полезно понять, какие параметры действительно влияют на эту нагрузку.

• Объём видеопамяти (VRAM) определяет, что вообще можно загрузить. Весовые коэффициенты модели должны помещаться в память вместе с активациями и, во время обучения, состоянием оптимизатора и градиентами. Вывод на квантизированной модели с 7–13 миллиардами параметров комфортно выполняется на одной карте с 24 ГБ памяти, тогда как обслуживание модели с 70 миллиардами параметров в более высокой точности требует ускорителей с объёмом памяти около 80 ГБ или нескольких GPU.
• Пропускная способность памяти определяет скорость обработки токенов. Генеративный вывод ограничен пропускной способностью памяти: для каждого сгенерированного токена требуется потоковая передача весов модели через вычислительные блоки, поэтому пропускная способность класса HBM (как у ускорителей для дата-центров) обеспечивает значительно больше токенов в секунду, чем потребительские карты с памятью GDDR при том же объёме VRAM.
• Поддержка низкой точности здесь важнее, чем во многих других задачах. Тензорные ядра, ускоряющие вычисления в FP16, BF16 и особенно FP8 или INT8, позволяют запускать более крупные модели с меньшим объёмом памяти и на более высокой скорости. Аппаратное обеспечение с поддержкой FP8 является значимым преимуществом как для обслуживания, так и для обучения новейших крупных моделей.
• Интерконнект становится решающим, когда модель уже не помещается на одном GPU. Высокоскоростные соединения, такие как NVLink, и сетевые решения для многоузлового обучения обеспечивают питание нескольких GPU, когда веса распределены между ними. Мульти-GPU конфигурации только на PCIe работают, но замедляют обучение больших моделей и тензорно-параллельный вывод.

Подбор нагрузки под нужный уровень

«Генеративный ИИ» охватывает очень разные потребности аренды в зависимости от того, что вы делаете. Рассмотрение приведённого выше списка с этой точки зрения сэкономит вам деньги и избавит от разочарований.

Вывод и обслуживание

Если вы развёртываете модель для генерации текста, изображений или аудио для пользователей, вам нужна максимальная пропускная способность памяти на доллар и достаточно VRAM, чтобы вместить модель и разумный KV-кэш (память на запрос, которая растёт с длиной контекста). Для генерации в стиле чата и с длинным контекстом KV-кэш может быть сравним по размеру с весами, поэтому не ориентируйтесь только на весовые коэффициенты модели при выборе инстанса. Квантизация до INT8 или FP8 позволяет запускать большие модели или обслуживать больше одновременных запросов на меньших картах. Для обслуживания в реальном времени с чувствительностью к задержкам обычно лучше один быстрый GPU на реплику, чем распределять одну модель тонко по многим.

Тонкая настройка и адаптация

Большинство команд, кастомизирующих базовую модель, используют параметрически эффективную тонкую настройку (LoRA/QLoRA), а не полное обучение. Особенно QLoRA сохраняет базовую модель квантизированной и обучает небольшие адаптерные веса, что значительно снижает требования к VRAM — крупные модели становятся настраиваемыми на одной карте с 24–48 ГБ. Полная тонкая настройка больших моделей, напротив, требует наличия в памяти состояния оптимизатора и градиентов, что может увеличить требования в несколько раз и заставить использовать ускорители с 80 ГБ или много-GPU узлы с мощным интерконнектом.

Предобучение и масштабное обучение

Обучение крупной генеративной модели с нуля — самый требовательный случай. Здесь доминирует масштабирование на несколько GPU и узлов, поэтому важны пропускная способность интерконнекта, быстрая общая память для обеспечения загрузчиков данных и надёжные высококлассные ускорители с HBM и поддержкой FP8. Здесь вопрос доступности по требованию и дефицита становится планировочным, и часто имеет смысл использовать зарезервированные мощности вместо погони за самой дешёвой спотовой ценой.

Как читать приведённое выше сравнение для генеративного ИИ

Таблица отражает актуальные детали, но вот на что стоит обратить внимание при её просмотре:

• Сначала VRAM, затем пропускная способность. Отфильтруйте инстансы, которые действительно могут вместить вашу модель и её KV-кэш, затем отдайте предпочтение памяти класса HBM для пропускной способности вывода.
• Один GPU или несколько. Если ваша модель помещается на одном GPU, один быстрый ускоритель проще и обычно дешевле, чем много-GPU система, которую вы не сможете полноценно использовать. Используйте мульти-GPU с NVLink только когда модель действительно распределена по картам.
• Гранулярность тарификации. Генеративные нагрузки часто имеют всплески — пакетная генерация изображений, запуск оценки, прерывистая точка доступа. Оплата по секундам или минутам и возможность быстро остановить инстансы защитят вас от оплаты простаивающих ускорителей.
• Спотовые или on-demand инстансы. Прерываемые инстансы отлично подходят для отказоустойчивой пакетной генерации и контрольной тонкой настройки, где прерывание стоит лишь перезапуска. Для пользовательских конечных точек и длительных обучений без возможности лёгкого возобновления лучше использовать on-demand или зарезервированные мощности, так как неожиданное прерывание там гораздо более критично.
• Хранение и выгрузка данных. Весовые коэффициенты моделей большие для передачи, а постоянное хранение контрольных точек накапливается; проверьте, как каждая опция тарифицирует хранение и передачу данных, а не только время работы GPU.

Поскольку цены и наличие самых востребованных ускорителей часто меняются, рассматривайте актуальные данные в приведённой таблице как источник истины и используйте рекомендации здесь, чтобы решить, какие строки вообще стоит сравнивать.

Часто задаваемые вопросы

Сколько VRAM нужно для генеративного ИИ?

Зависит от размера модели и точности. Квантизированные модели в диапазоне 7–13 миллиардов параметров работают на потребительских картах с 24 ГБ, модели среднего размера и обслуживание в полной точности предпочитают карты с 48 ГБ, а крупные модели около 70 миллиардов параметров и выше обычно требуют ускорители с 80 ГБ или нескольких GPU вместе. Всегда учитывайте дополнительную память для KV-кэша при генерации с длинным контекстом.

Стоит ли использовать спотовые или on-demand инстансы для генеративного ИИ?

Используйте спотовые или прерываемые мощности для отказоустойчивых задач, таких как пакетная генерация изображений или видео и контрольная тонкая настройка, где прерывание означает лишь перезапуск. Используйте on-demand или зарезервированные мощности для производственных конечных точек вывода и любых длительных обучений, которые сложно возобновить, поскольку неожиданное прерывание там гораздо более критично.

Нужен ли мне дата-центровый GPU с 80 ГБ, или подойдёт потребительская карта?

Для экспериментов, тонкой настройки LoRA/QLoRA и обслуживания небольших и средних квантизированных моделей часто достаточно потребительского GPU с 24 ГБ, который дешевле арендовать. Переходите к ускорителям с 80 ГБ на базе HBM, когда нужна более высокая пропускная способность памяти для производительности, ускорение FP8, NVLink для масштабирования на несколько GPU или просто больше места для крупных моделей и больших пакетов.

Почему генерация токенов идёт медленно, хотя GPU не загружен полностью?

Генеративный вывод обычно ограничен пропускной способностью памяти, а не вычислительной мощностью, поэтому вы можете видеть высокий потолок токенов в секунду даже при низкой загрузке вычислительных ресурсов. Решение — карта с более быстрой памятью (HBM вместо GDDR), квантизация модели до INT8 или FP8, либо объединение большего числа запросов в пакет, чтобы веса, которые вы передаёте из памяти, обслуживали несколько генераций одновременно.