Облачные провайдеры GPU с NVLink или InfiniBand

Что на самом деле делают NVLink и InfiniBand при аренде вычислительных ресурсов с несколькими GPU

NVLink и InfiniBand решают одну и ту же фундаментальную задачу, но с двух разных сторон машины: они обеспечивают передачу данных между GPU с такой скоростью, чтобы ускорители тратили время на вычисления, а не на ожидание. Фильтр выше сужает список до облачных инстансов, которые предоставляют один или оба этих типа соединений. Они не взаимозаменяемы — одно представляет собой внутриузловую сеть, связывающую GPU внутри одного сервера, а другое — межузловую сеть, объединяющую серверы в кластер. Для любой задачи, которая охватывает более одного GPU, наличие такого соединения часто является решающим фактором между почти линейным масштабированием и конфигурацией, где добавление GPU практически не улучшает производительность.

NVLink: быстрая магистраль между GPU внутри одного корпуса

NVLink — это прямое соединение GPU с GPU от NVIDIA. Вместо того чтобы маршрутизировать трафик через шину PCIe хоста и CPU, NVLink соединяет GPU друг с другом (а на некоторых платформах — через коммутатор NVSwitch), так что каждый GPU в узле может общаться с каждым другим GPU с высокой пропускной способностью и низкой задержкой. Практический результат при аренде инстанса с NVLink:

• Значительно более высокая пропускная способность между GPU по сравнению с узлами, использующими только PCIe, что важно всякий раз, когда необходимо обмениваться градиентами, активациями или частями модели на каждом шаге.
• Объединённая память между GPU на практике — модель, слишком большая для VRAM одного GPU, может быть распределена по домену NVLink, при этом трафик между GPU остаётся на быстрой сети, а не ползёт по PCIe.
• Меньшие накладные расходы на синхронизацию для коллективных операций, таких как all-reduce, которые доминируют в параллельном обучении данных.

NVLink работает внутри одного узла, поэтому его охват обычно составляет 2, 4 или 8 GPU в зависимости от конструкции сервера. Если провайдер из списка выше предлагает 8-GPU узел “с NVLink”, это означает, что эти восемь карт тесно связаны. Это само по себе не говорит о том, как этот узел соединён с другими узлами.

InfiniBand: сеть, превращающая множество серверов в один кластер

InfiniBand — это сетевая технология, используемая для соединения отдельных серверов с GPU. Когда задачи обучения выходят за пределы одного узла, узким местом становится связь между узлами, и обычные Ethernet-сети могут тормозить работу GPU. InfiniBand решает эту проблему за счёт очень высокой пропускной способности на каждом канале, низкой и предсказуемой задержки, а также RDMA (удалённый прямой доступ к памяти), который позволяет одному серверу читать или записывать память другого сервера без участия CPU с обеих сторон. В сочетании с GPUDirect RDMA данные могут перемещаться от GPU к GPU между узлами, практически обходя копирование в памяти хоста.

Для распределённого обучения на нескольких узлах именно это обеспечивает эффективное масштабирование. Причина, по которой кластер из десятков или сотен GPU может обучать большую модель за разумное время, заключается в том, что межузловая сеть справляется с коллективной коммуникацией, требуемой алгоритмом. При использовании обычных сетей задача может тратить значительную часть времени ожидания на сеть.

Какие задачи действительно нуждаются в этом

Фильтрация по NVLink или InfiniBand имеет смысл, когда коммуникация, а не только сырые вычисления, является критическим фактором:

• Обучение и дообучение больших моделей, которые разбивают параметры, состояние оптимизатора или слои по GPU (тензорный, конвейерный или полностью шардированный параллелизм данных) — такие схемы генерируют постоянный трафик между GPU и максимально выигрывают от NVLink внутри узла и InfiniBand между узлами.
• Распределённое обучение на нескольких узлах, когда задача просто не помещается в один сервер — здесь InfiniBand является решающим фактором для эффективности масштабирования.
• Вычислительные кластеры и научное моделирование, требующие плотной межпроцессной коммуникации, которые уже много лет используют InfiniBand и RDMA.
• Инференс с большим контекстом или большими моделями, когда одна модель распределена по нескольким GPU, и NVLink снижает задержки при меж-GPU доступе к вниманию и весам.

Для задач на одном GPU это действительно избыточно. Дообучение небольшой модели, пакетный инференс, помещающийся на одной карте, большинство задач рендеринга и эксперименты отлично работают на отдельном GPU. Платить премию за узел с плотным соединением или кластер с InfiniBand не имеет смысла, если ваша задача никогда не выходит за пределы одного GPU.

Что проверить перед арендой

Два типа соединений часто путают в маркетинговых материалах, поэтому проверьте детали согласно приведённому выше сравнению:

• Область действия — уточните, означает ли объявление NVLink (связь GPU внутри узла) или InfiniBand (сеть между узлами). Инстанс с одним узлом может иметь NVLink и при этом не иметь InfiniBand вовсе.
• Топология и пропускная способность — сколько GPU объединены в домен NVLink (полный NVSwitch с all-to-all связью или частичные мосты), а также скорость InfiniBand и включён ли RDMA/GPUDirect.
• Поколение — более новые поколения GPU поддерживают NVLink с более высокой пропускной способностью; просто маркировка “NVLink” не говорит о скорости.
• Доступность для нескольких узлов — можно ли действительно зарезервировать несколько связанных узлов и попадут ли они в одну сеть, а не будут разбросаны по дата-центру.
• Поддержка программного обеспечения — чтобы NCCL, MPI и ваш фреймворк видели и использовали сеть; неправильная настройка тихо переключается на медленные пути.

По стоимости и доступности инстансы с богатым набором соединений находятся в верхнем ценовом сегменте. Узлы с NVLink и кластеры с InfiniBand используют премиальное оборудование и пользуются стабильным спросом, поэтому ёмкость по запросу ограничена, а варианты со спотовыми или прерываемыми инстансами встречаются реже, чем для одиночных GPU. Особенно часто распределённые InfiniBand-инстансы имеют ограничения, требуют резервирования или продаются крупными блоками. Рассматривайте цены в таблице выше как актуальные, поскольку ставки меняются и зависят от провайдера.

Часто задаваемые вопросы

Нужны ли мне и NVLink, и InfiniBand?

Это зависит от масштаба. Много-GPU задача на одном узле требует только NVLink. Как только обучение охватывает несколько серверов, вам также нужен InfiniBand для соединения этих узлов — они работают на разных уровнях, поэтому большой кластер обычно использует NVLink внутри каждого корпуса и InfiniBand между корпусами.

Ускорит ли мою задачу на одном GPU инстанс с NVLink или InfiniBand?

Нет. Оба соединения важны только тогда, когда данные перемещаются между GPU или между узлами. Задача, помещающаяся на одном GPU, никогда не задействует эти сети, поэтому вы заплатите премию за ресурсы, которые не используете. Фильтруйте по ним только при масштабировании за пределы одного GPU.

Почему interconnect важнее характеристик одного GPU для больших задач обучения?

Распределённое обучение тратит значительную часть каждого шага на обмен градиентами и активациями. Если сеть не справляется с нагрузкой, GPU простаивают в ожидании синхронизации, и добавление GPU даёт всё меньший эффект. Быстрое соединение — это то, что сохраняет почти линейное масштабирование при добавлении ускорителей.

Доступен ли NVLink на каждом инстансе с несколькими GPU?

Нет. Некоторые много-GPU узлы соединяют карты только через PCIe, что даёт гораздо меньшую пропускную способность между GPU. Наличие нескольких GPU не гарантирует NVLink, поэтому уточняйте тип соединения явно согласно приведённому выше сравнению, а не исходя из количества GPU.