Найкращі хмарні GPU для тонкого налаштування великих мовних моделей

Що насправді вимагає доопрацювання від орендованого GPU

Доопрацювання бере попередньо навчену модель і продовжує її навчання на більш вузькому наборі даних, щоб адаптувати її до вашої сфери, тону або завдання. Порівняно з навчанням моделі з нуля, обчислювальні витрати значно менші, але вимоги до пам’яті та робочого процесу залишаються дуже специфічними. Найбільшим обмеженням є VRAM, оскільки під час доопрацювання GPU повинен одночасно зберігати ваги моделі, градієнти, стан оптимізатора та пам’ять активацій для пакета. Саме цей сумарний обсяг пам’яті, а не сирі терафлопи, зазвичай визначає, чи поміститься завдання на карті, яку ви орендуєте згідно з наведеним вище порівнянням.

Обсяг цієї пам’яті повністю залежить від обраного вами методу доопрацювання:

• Повне доопрацювання оновлює кожну вагу і є найбільш вимогливим до пам’яті варіантом. Орієнтовне правило: вам потрібно кілька разів більше VRAM у байтах, ніж кількість параметрів моделі, з урахуванням стану оптимізатора, саме тому повне доопрацювання великих мовних моделей зазвичай виконується на багатокарткових вузлах.
• LoRA та QLoRA заморожують базові ваги і навчають невеликі адаптери з низьким рангом, значно зменшуючи пам’ять, необхідну для градієнтів та стану оптимізатора. QLoRA також завантажує заморожену базову модель у квантизованому 4-бітному форматі, тому моделі, які інакше потребували б багатокарткового вузла, часто можна доопрацьовувати на одній карті з великою VRAM.
• Параметрично ефективні методи зазвичай (адаптери, префіксне налаштування) жертвують невеликим рівнем точності заради значно нижчих апаратних вимог, і саме тому багато практичних доопрацювань виконуються на орендованих GPU середнього класу, а не на флагманських прискорювачах.

Підбір карти під завдання

Оскільки обмеження пам’яті домінує, найкорисніший спосіб читати наведене вище порівняння — почати з найбільшої моделі, яку ви плануєте доопрацьовувати, і методу, який будете використовувати, а потім рухатися назад до VRAM.

• Одна карта з великою VRAM (серверні карти з великими обсягами HBM): ідеальна для LoRA та QLoRA на моделях середнього розміру, візуальних моделях і більшості випадків доопрацювання дифузійних моделей. Це оптимальний варіант для економічної роботи з адаптерами.
• Багатокарткові вузли з NVLink або еквівалентним швидким інтерконектом: потрібні для повного доопрацювання більших моделей, де ваги та стан оптимізатора розподіляються між картами за допомогою таких технологій, як ZeRO/FSDP. Тут пропускна здатність між GPU так само важлива, як і VRAM на кожній карті, оскільки при розподіленому навчанні постійно обмінюються градієнти; вузол із швидкою мережею забезпечить безперебійну роботу GPU, тоді як посилання лише через PCIe можуть створювати вузькі місця.
• Споживчі карти з пам’яттю GDDR: придатні для експериментів з невеликими моделями та QLoRA з обмеженим бюджетом, але їхні нижчі ліміти VRAM і часта відсутність швидкого багатокарткового інтерконекту роблять їх непридатними, коли завдання вже не поміщається на одну карту.

Підтримка точності — ще одна апаратна деталь, яку варто перевірити. Сучасне доопрацювання базується на BF16 та FP16 змішаній точності, а квантизовані методи використовують INT8/4-бітні ядра. Карти з розвиненою підтримкою тензорних ядер для цих форматів доопрацьовують значно швидше і дозволяють використовувати більші розміри пакетів, ніж старіші пристрої, які переходять на менш ефективні шляхи.

Функції провайдера, які визначають успіх доопрацювання

Доопрацювання — це ітеративний процес: ви пробуєте конфігурацію, спостерігаєте криву втрат, коригуєте гіперпараметри і запускаєте знову. Цей ритм робить певні функції провайдера важливішими, ніж для одноразового інференсу.

• Постійне зберігання та швидке завантаження даних: ваш набір даних, кеш токенізатора та контрольні точки мають зберігатися між сесіями. Провайдер, який змушує вас щоразу повторно завантажувати великий корпус, витрачає реальні гроші. Перевірте, чи зберігається сховище після зупинки інстанції і як оплачується вивантаження даних.
• Контрольні точки та можливість переривання: доопрацювання, що триває кілька годин, виграє від частого запису контрольних точок, що робить дешевші spot або переривні інстанції придатними. Якщо ваш код коректно відновлюється з останньої контрольної точки, переривання коштує лише кілька хвилин, а не весь час запуску.
• Гранулярність оплати: оплата за секунду або хвилину винагороджує припинення і повторний запуск експериментів, коли ви очікуєте результатів. Груба погодинна оплата карає за такий же робочий процес.
• Контроль середовища: доступ через SSH, Docker-образи та Jupyter-ноутбуки дозволяють зафіксувати точні версії фреймворку та CUDA, що важливо, оскільки бібліотеки квантизації та PEFT чутливі до версій.
• Мережеве з’єднання між вузлами: якщо ви плануєте повне доопрацювання великих моделей, переконайтеся, що провайдер пропонує вузли з дійсно швидким внутрішньовузловим і міжвузловим інтерконектом, а не просто кількість GPU в одному корпусі.

Читання наведеного вище порівняння з точки зору вартості

Завдання доопрацювання зазвичай короткі і переривчасті, а не постійно активні, тому стратегія оренди відрізняється від обслуговування інференсу. Ціни на вимогу забезпечують гарантовану, безперервну сесію для критичних запусків; spot та переривні ресурси можуть суттєво знизити ефективну вартість для експериментів з контрольними точками, де перезапуск недорогий. Флагманські прискорювачі знаходяться на верхньому рівні цінового спектру і зазвичай менш доступні, тому для доопрацювання з адаптерами часто краще обрати трохи старішу карту з великою VRAM із наведеного вище списку, що забезпечує кращий баланс ціна/результат. Використовуйте таблицю для актуальних цін і наявності у конкретного провайдера; ціни часто змінюються і залежать від регіону та типу інстанції, тому будь-яке число там слід вважати поточним джерелом істини, а не покладатися на цифри, наведені в тексті.

Поширені запитання

Скільки пам’яті GPU потрібно для доопрацювання LLM?

Це залежить від розміру моделі та методу. QLoRA може розмістити досить великі моделі на одній карті з великою VRAM, оскільки заморожена базова модель квантизована до 4-біт, тоді як повне доопрацювання тієї ж моделі може вимагати пам’яті, еквівалентної кільком GPU, для ваг, градієнтів і стану оптимізатора. Починайте з найбільшої цільової моделі та обраного методу, а потім вибирайте карту або вузол із наведеного вище порівняння з достатнім запасом для активацій і розміру пакета.

Чи достатньо однієї GPU, чи потрібен багатокартковий вузол?

Для LoRA та QLoRA на малих і середніх моделях зазвичай достатньо однієї карти з великою VRAM. Повне доопрацювання більших моделей або навчання з великими розмірами пакетів зазвичай потребує багатокарткового вузла з швидким інтерконектом, щоб можна було обмінюватися розподіленими вагами та градієнтами без вузьких місць.

Чи можна використовувати дешевші spot або переривні інстанції для доопрацювання?

Так, за умови, що ваш цикл навчання часто створює контрольні точки і коректно відновлюється. Оскільки доопрацювання можна перезапустити з останньої контрольної точки, переривання коштує лише роботи з моменту цієї точки, що робить spot-ресурси ефективним способом знизити вартість експериментів без жорстких термінів.

Чи потрібне доопрацювання того самого апаратного забезпечення, що й повне навчання?

Ні. Доопрацювання, особливо параметрично ефективні методи, потребують значно менше пам’яті та обчислень, ніж навчання моделі з нуля, тому часто можна орендувати меншу або старішу карту, ніж для навчання з нуля. Флагманські прискорювачі зазвичай надмірні для доопрацювання з адаптерами і краще залишити для масштабного попереднього навчання.