Постачальники хмарних GPU з NVLink або InfiniBand

Що насправді роблять NVLink та InfiniBand, коли ви орендуєте мульти-GPU обчислення

NVLink та InfiniBand вирішують одну й ту саму фундаментальну проблему з двох різних боків машини: швидке переміщення даних між GPU, щоб прискорювачі витрачали час на обчислення, а не на очікування. Фільтр вище звужує список до хмарних інстансів, які підтримують один або обидва ці інтерконекти. Вони не взаємозамінні — один є вузловою мережею, що з’єднує GPU всередині одного сервера, а інший — міжвузловою мережею, що з’єднує сервери в кластер. Для будь-якого навантаження, яке охоплює більше ніж один GPU, інтерконект часто є різницею між майже лінійним масштабуванням і конфігурацією, де додавання GPU майже не допомагає.

NVLink: швидка лінія між GPU всередині одного корпусу

NVLink — це пряме з’єднання GPU від NVIDIA. Замість маршрутизації трафіку через шину PCIe хоста та CPU, NVLink з’єднує GPU між собою (а на деяких платформах через NVSwitch кросбар), щоб кожен GPU у вузлі міг спілкуватися з кожним іншим GPU з високою пропускною здатністю та низькою затримкою. Практичний результат, коли ви орендуєте інстанс з NVLink:

• Набагато вища пропускна здатність між GPU ніж у вузлах лише з PCIe, що важливо, коли на кожному кроці потрібно обмінюватися градієнтами, активаціями або частинами моделі.
• Об’єднана пам’ять між GPU на практиці — модель, занадто велика для VRAM одного GPU, може бути розподілена по домену NVLink, при цьому трафік між GPU проходить по швидкій мережі, а не повільно через PCIe.
• Менші накладні витрати на синхронізацію для колективних операцій, таких як all-reduce, які домінують у паралельному навчанні даних.

NVLink працює всередині одного вузла, тому його охоплення зазвичай становить 2, 4 або 8 GPU залежно від конструкції сервера. Якщо провайдер у наведеному вище списку рекламує 8-GPU вузол “з NVLink”, це означає, що ці вісім карт тісно пов’язані. Це не дає жодної інформації про те, як цей вузол з’єднується з іншими вузлами.

InfiniBand: мережа, що перетворює багато серверів на один кластер

InfiniBand — це мережна технологія, що використовується для з’єднання окремих серверів з GPU. Коли навчальні завдання виходять за межі одного вузла, вузьке місце переміщується зсередини корпусу між корпусами, і звичайна Ethernet-мережа може гальмувати GPU. InfiniBand вирішує це завдяки дуже високій пропускній здатності на лінію, низькій та передбачуваній затримці, а також RDMA (віддалений прямий доступ до пам’яті), що дозволяє одному серверу читати або записувати пам’ять іншого сервера без участі CPU з обох сторін. У поєднанні з GPUDirect RDMA дані можуть переміщуватися від GPU до GPU між вузлами, значною мірою обходячи копіювання в пам’ять хоста.

Для багатовузлового навчання це те, що забезпечує ефективне масштабування. Причина, чому кластер із десятків або сотень GPU може навчати велику модель за розумний час, полягає в тому, що міжвузлова мережа встигає за колективною комунікацією, яку вимагає алгоритм. Якщо перейти на звичайну мережу, те саме завдання може витрачати велику частку часу на очікування в мережі.

Які навантаження дійсно потребують цього

Фільтрація за NVLink або InfiniBand має сенс, коли комунікація, а не лише сирі обчислення, є критичним шляхом:

• Навчання та донавчання великих моделей, які розподіляють параметри, стан оптимізатора або шари між GPU (тензорне, конвеєрне або повністю розподілене паралельне навчання) — ці схеми генерують постійний трафік між GPU і найбільше виграють від NVLink у вузлі та InfiniBand між вузлами.
• Багатовузлове розподілене навчання, коли завдання просто не вміщується в один сервер — тут InfiniBand є вирішальним фактором для ефективності масштабування.
• Високопродуктивні обчислення та наукове моделювання з тісною міжпроцесорною комунікацією, які роками покладаються на InfiniBand та RDMA.
• Виведення з великим контекстом або великими моделями, що розподіляє одну модель між кількома GPU, де NVLink зменшує затримку при доступі до уваги та ваг між GPU.

Це справді надмірно для роботи на одному GPU. Донавчання невеликої моделі, запуск пакетного виведення, що вміщується на одній карті, більшість завдань рендерингу та експерименти добре працюють на окремому GPU. Оплата преміуму за тісно пов’язаний вузол або кластер з InfiniBand не приносить користі, якщо ваше завдання ніколи не виходить за межі одного GPU.

Що перевірити перед орендою

Ці два інтерконекти часто плутають у маркетингових матеріалах, тому перевіряйте конкретику за наведеним вище порівнянням:

• Охоплення — підтвердіть, чи означає оголошення NVLink (зв’язок GPU всередині вузла) або InfiniBand (мережа між вузлами). Інстанс одного вузла може мати NVLink і зовсім не мати InfiniBand.
• Топологія та ширина — скільки GPU ділять домен NVLink (повний NVSwitch all-to-all проти часткових мостів), а також швидкість лінії InfiniBand і чи увімкнено RDMA/GPUDirect.
• Покоління — нові покоління GPU мають NVLink з вищою пропускною здатністю; лише позначка “NVLink” не дає інформації про швидкість.
• Доступність багатовузлових конфігурацій — чи можна реально зарезервувати кілька взаємопов’язаних вузлів і чи розміщуються вони в одній мережі, а не розкидані по датацентру.
• Підтримка програмного забезпечення — щоб NCCL, MPI та ваш фреймворк бачили й використовували мережу; неправильне налаштування тихо переключається на повільні шляхи.

За вартістю та доступністю інстанси з багатьма інтерконектами знаходяться у верхньому ціновому сегменті. Вузли з NVLink для мульти-GPU та кластери з InfiniBand використовують преміальне обладнання і користуються стабільним попитом, тому ємність на вимогу обмежена, а варіанти зі спотовими або переривними інстансами менш доступні, ніж для окремих звичайних GPU. Особливо багатовузлові виділення InfiniBand часто мають обмеження, резервуються або продаються великими блоками. Розглядайте ціни у таблиці вище як актуальне посилання, оскільки тарифи змінюються і відрізняються залежно від провайдера.

Поширені запитання

Чи потрібні мені обидва NVLink і InfiniBand?

Це залежить від масштабу. Завданню з мульти-GPU в одному вузлі потрібен лише NVLink. Як тільки ваше навчання охоплює кілька серверів, вам також потрібен InfiniBand для з’єднання цих вузлів — вони працюють на різних рівнях, тому великий кластер зазвичай покладається на NVLink всередині кожного корпусу та InfiniBand між корпусами.

Чи буде моє навантаження на одному GPU працювати швидше на інстансі з NVLink або InfiniBand?

Ні. Обидва інтерконекти мають значення лише тоді, коли дані переміщуються між GPU або між вузлами. Навантаження, що вміщується на одному GPU, ніколи не торкається жодної з цих мереж, тому ви платитимете преміум за потужність, якою не користуєтеся. Фільтруйте за ними лише тоді, коли масштабуєтеся понад один GPU.

Чому інтерконект важливіший за характеристики окремого GPU для великих навчальних завдань?

Розподілене навчання витрачає велику частку кожного кроку на обмін градієнтами та активаціями. Якщо мережа не встигає, GPU простоюють, чекаючи на синхронізацію, і додавання GPU дає дедалі менший ефект. Швидкий інтерконект зберігає майже лінійне масштабування при додаванні прискорювачів.

Чи доступний NVLink на кожному мульти-GPU інстансі?

Ні. Деякі мульти-GPU вузли з’єднують свої карти лише через PCIe, що має значно нижчу пропускну здатність між GPU. Наявність кількох GPU не гарантує NVLink, тому підтверджуйте інтерконект явно за наведеним вище порівнянням, а не припускайте його за кількістю GPU.