Постачальники хмарних GPU з NVLink або InfiniBand

Що насправді роблять NVLink та InfiniBand при оренді обчислювальних ресурсів з кількома GPU

NVLink та InfiniBand вирішують одну й ту саму фундаментальну проблему з двох різних боків машини: швидко переміщувати дані між GPU так, щоб прискорювачі витрачали час на обчислення, а не на очікування. Фільтр вище звужує список до хмарних інстансів, які підтримують один або обидва ці інтерконекти. Вони не взаємозамінні — один є вузловою мережею, що з’єднує GPU всередині одного сервера, а інший — міжвузловою мережею, що з’єднує сервери в кластер. Для будь-якого навантаження, яке охоплює більше ніж один GPU, інтерконект часто є різницею між майже лінійним масштабуванням і конфігурацією, де додавання GPU майже не допомагає.

NVLink: швидкий канал між GPU всередині одного пристрою

NVLink — це пряме з’єднання GPU від NVIDIA. Замість маршрутизації трафіку через шину PCIe хоста та CPU, NVLink з’єднує GPU між собою (а на деяких платформах через кросбар NVSwitch), щоб кожен GPU у вузлі міг спілкуватися з кожним іншим GPU з високою пропускною здатністю та низькою затримкою. Практичний результат при оренді інстанса з NVLink:

• Набагато вища пропускна здатність між GPU у порівнянні з вузлами лише на PCIe, що важливо, коли на кожному кроці потрібно обмінюватися градієнтами, активаціями або частинами моделі.
• Об’єднана пам’ять між GPU на практиці — модель, що занадто велика для VRAM одного GPU, може бути розподілена по домену NVLink, при цьому трафік між GPU залишається на швидкій мережі, а не повільно передається через PCIe.
• Менші накладні витрати на синхронізацію для колективних операцій, таких як all-reduce, які домінують у паралельному тренуванні даних.

NVLink працює всередині одного вузла, тому його охоплення зазвичай становить 2, 4 або 8 GPU залежно від конструкції сервера. Якщо провайдер у наведеному вище списку рекламує 8-GPU вузол “з NVLink”, це означає, що ці вісім карт тісно пов’язані. Це саме по собі не говорить про те, як цей вузол з’єднується з іншими вузлами.

InfiniBand: мережа, що об’єднує багато серверів у один кластер

InfiniBand — це мережна технологія, що використовується для з’єднання окремих серверів з GPU. Коли тренувальні завдання виходять за межі одного вузла, вузьке місце переміщується зсередини пристрою на міжпристрійний рівень, і звичайна Ethernet-мережа може гальмувати GPU. InfiniBand вирішує це завдяки дуже високій пропускній здатності на лінію, низькій та передбачуваній затримці, а також RDMA (віддалений прямий доступ до пам’яті), що дозволяє одному серверу читати або записувати пам’ять іншого сервера без участі CPU з обох сторін. У поєднанні з GPUDirect RDMA дані можуть переміщуватися від GPU до GPU між вузлами, майже уникаючи копіювання через пам’ять хоста.

Для тренування на кількох вузлах це те, що забезпечує ефективне масштабування. Причина, чому кластер із десятків чи сотень GPU може тренувати велику модель за розумний час, полягає в тому, що міжвузлова мережа встигає за колективною комунікацією, яку вимагає алгоритм. При переході на звичайну мережу те саме завдання може витрачати велику частину часу очікування на мережу.

Які навантаження справді потребують цього

Фільтрація за NVLink або InfiniBand має сенс, коли комунікація, а не лише сирі обчислення, є критичною:

• Тренування та донавчання великих моделей, які розподіляють параметри, стан оптимізатора або шари між GPU (тензорний, конвеєрний або повністю розподілений паралелізм даних) — ці схеми генерують постійний трафік між GPU і найбільше виграють від NVLink у межах вузла та InfiniBand між вузлами.
• Розподілене тренування на кількох вузлах, коли завдання просто не поміщається в один сервер — тут InfiniBand є вирішальним фактором для ефективності масштабування.
• Високопродуктивні обчислення та наукове моделювання з інтенсивною міжпроцесорною комунікацією, які роками покладаються на InfiniBand і RDMA.
• Інференс з великим контекстом або великою моделлю, що розподіляє одну модель на кілька GPU, де NVLink знижує затримки при доступі до уваги та ваг між GPU.

Для роботи з одним GPU це справді надмірно. Донавчання невеликої моделі, запуск пакетного інференсу, що вміщується на одній карті, більшість завдань рендерингу та експерименти — усе це добре працює на окремому GPU. Оплачувати преміум за тісно пов’язаний вузол або кластер з InfiniBand немає сенсу, якщо ваше завдання ніколи не виходить за межі одного GPU.

Що перевірити перед орендою

Ці два інтерконекти часто плутають у маркетингових матеріалах, тому перевірте деталі за наведеним вище порівнянням:

• Охоплення — підтвердіть, чи означає оголошення NVLink (зв’язок GPU всередині вузла) чи InfiniBand (мережа між вузлами). Інстанс одного вузла може мати NVLink і зовсім не мати InfiniBand.
• Топологія та ширина — скільки GPU поділяють домен NVLink (повний NVSwitch all-to-all проти часткових мостів), а також швидкість лінії InfiniBand і чи увімкнено RDMA/GPUDirect.
• Покоління — новіші покоління GPU мають NVLink з вищою пропускною здатністю; позначка “NVLink” сама по собі не дає інформації про швидкість.
• Доступність для кількох вузлів — чи можна фактично зарезервувати кілька взаємопов’язаних вузлів і чи розміщуються вони в одній мережі, а не розкидані по дата-центру.
• Підтримка програмного забезпечення — щоб NCCL, MPI та ваш фреймворк бачили та використовували мережу; неправильне налаштування непомітно переходить на повільні шляхи.

Щодо вартості та доступності, інстанси з багатими інтерконектами знаходяться у вищому ціновому сегменті. Вузли з NVLink і кластери з InfiniBand використовують преміальне обладнання і користуються стабільним попитом, тому потужність за запитом обмежена, а варіанти spot або interruptible менш доступні, ніж для одиночних звичайних GPU. Особливо виділення InfiniBand для кількох вузлів часто регулюється, резервується або продається великими блоками. Розглядайте ціни в таблиці вище як актуальний орієнтир, оскільки тарифи змінюються і відрізняються у різних провайдерів.

Поширені запитання

Чи потрібні мені обидва — NVLink і InfiniBand?

Це залежить від масштабу. Завданню з кількома GPU в одному вузлі потрібен лише NVLink. Як тільки тренування охоплює кілька серверів, вам також потрібен InfiniBand для з’єднання цих вузлів — вони працюють на різних рівнях, тому великий кластер зазвичай покладається на NVLink всередині кожного пристрою і InfiniBand між пристроями.

Чи буде моє навантаження на одному GPU працювати швидше на інстансі з NVLink або InfiniBand?

Ні. Обидва інтерконекти мають значення лише тоді, коли дані переміщуються між GPU або між вузлами. Навантаження, що вміщується на одному GPU, ніколи не торкається жодної з цих мереж, тому ви платитимете преміум за потужність, яку не використовуєте. Фільтруйте за ними лише тоді, коли масштабування виходить за межі одного GPU.

Чому інтерконект важливіший за характеристики окремого GPU для великих тренувальних завдань?

Розподілене тренування витрачає велику частку кожного кроку на обмін градієнтами та активаціями. Якщо мережа не встигає, GPU простоюють у очікуванні синхронізації, і додавання GPU дає дедалі менший приріст. Швидкий інтерконект зберігає майже лінійне масштабування при додаванні прискорювачів.

Чи доступний NVLink у кожному інстансі з кількома GPU?

Ні. Деякі вузли з кількома GPU з’єднують карти лише через PCIe, що має значно нижчу пропускну здатність між GPU. Наявність кількох GPU не гарантує NVLink, тому підтверджуйте інтерконект явно за наведеним вище порівнянням, а не припускайте його за кількістю GPU.