Облачные провайдеры GPU с NVLink или InfiniBand

Что на самом деле делают NVLink и InfiniBand при аренде вычислительных ресурсов с несколькими GPU

NVLink и InfiniBand решают одну и ту же фундаментальную задачу с двух разных сторон машины: перемещение данных между GPU с такой скоростью, чтобы ускорители тратили время на вычисления, а не на ожидание. Фильтр выше сужает список до облачных инстансов, которые предоставляют один или оба этих интерфейса. Они не взаимозаменяемы — один представляет собой внутриузловую сеть, связывающую GPU внутри одного сервера, а другой — межузловую сеть, объединяющую серверы в кластер. Для любой нагрузки, охватывающей более одного GPU, интерфейс часто становится решающим фактором между почти линейным масштабированием и конфигурацией, где добавление GPU практически не помогает.

NVLink: скоростная магистраль между GPU внутри одного корпуса

NVLink — это прямое соединение GPU от NVIDIA. Вместо маршрутизации трафика через шину PCIe хоста и ЦП, NVLink соединяет GPU друг с другом (а на некоторых платформах — через коммутатор NVSwitch), так что каждый GPU в узле может общаться с каждым другим GPU с высокой пропускной способностью и низкой задержкой. Практический результат при аренде инстанса с NVLink:

• Значительно более высокая пропускная способность между GPU по сравнению с узлами, использующими только PCIe, что важно, когда на каждом шаге необходимо обмениваться градиентами, активациями или частями модели.
• Общая память между GPU на практике — модель, слишком большая для VRAM одного GPU, может быть распределена по домену NVLink, при этом трафик между GPU остаётся на быстрой сети, а не ползёт по PCIe.
• Меньшие накладные расходы на синхронизацию для коллективных операций, таких как all-reduce, которые доминируют в обучении с параллелизмом по данным.

NVLink работает внутри одного узла, поэтому его охват обычно составляет 2, 4 или 8 GPU в зависимости от конструкции сервера. Если провайдер в списке выше рекламирует 8-GPU узел “с NVLink”, это означает, что эти восемь карт тесно связаны. Это само по себе не говорит о том, как этот узел соединён с другими узлами.

InfiniBand: сеть, превращающая множество серверов в один кластер

InfiniBand — это сетевая технология, используемая для соединения отдельных серверов с GPU. Когда задачи обучения выходят за пределы одного узла, узким местом становится связь между узлами, и обычный Ethernet может тормозить работу GPU. InfiniBand решает эту проблему за счёт очень высокой пропускной способности на линк, низкой и предсказуемой задержки и RDMA (удалённый прямой доступ к памяти), который позволяет одному серверу читать или записывать память другого сервера без участия ЦП с обеих сторон. В сочетании с GPUDirect RDMA данные могут перемещаться от GPU к GPU между узлами, практически обходя копирование в памяти хоста.

Для распределённого обучения на нескольких узлах именно это обеспечивает эффективное масштабирование. Причина, по которой кластер из десятков или сотен GPU может обучать большую модель за разумное время, заключается в том, что межузловая сеть справляется с коллективной коммуникацией, необходимой алгоритму. При использовании обычных сетей задача может тратить значительную часть времени ожидания на сеть.

Какие нагрузки действительно нуждаются в этом

Фильтрация по NVLink или InfiniBand имеет смысл, когда коммуникация, а не только вычисления, является критическим фактором:

• Обучение и дообучение больших моделей, которые распределяют параметры, состояние оптимизатора или слои между GPU (тензорный, конвейерный или полностью шардированный параллелизм данных) — такие схемы генерируют постоянный меж-GPU трафик и получают наибольшую выгоду от NVLink внутри узла и InfiniBand между узлами.
• Распределённое обучение на нескольких узлах, когда задача просто не помещается в один сервер — здесь InfiniBand является решающим фактором для эффективности масштабирования.
• Вычислительные задачи высокого класса (HPC) и научное моделирование с интенсивной межпроцессной коммуникацией, которые уже много лет полагаются на InfiniBand и RDMA.
• Инференс с большим контекстом или большой моделью, который распределяет одну модель по нескольким GPU, где NVLink снижает задержки при доступе к весам и вниманию между GPU.

Для задач на одном GPU это действительно избыточно. Дообучение небольшой модели, пакетный инференс, помещающийся на одной карте, большинство задач рендеринга и эксперименты отлично работают на отдельном GPU. Платить премию за тесно связанную сеть или кластер с InfiniBand не имеет смысла, если ваша задача не выходит за пределы одного GPU.

Что проверить перед арендой

Эти два интерфейса часто путают в маркетинговых материалах, поэтому уточняйте детали, сверяясь с приведённым выше сравнением:

• Охват — подтвердите, означает ли объявление NVLink (связь GPU внутри узла) или InfiniBand (сеть между узлами). Инстанс с одним узлом может иметь NVLink и вовсе не иметь InfiniBand.
• Топология и ширина канала — сколько GPU объединены в домен NVLink (полный NVSwitch с полносвязной топологией или частичные мосты), а также скорость InfiniBand и включён ли RDMA/GPUDirect.
• Поколение — более новые поколения GPU поддерживают NVLink с большей пропускной способностью; просто маркировка “NVLink” не говорит о скорости.
• Доступность для нескольких узлов — можно ли действительно зарезервировать несколько взаимосвязанных узлов и находятся ли они в одной сети, а не разбросаны по дата-центру.
• Поддержка программного обеспечения — чтобы NCCL, MPI и ваш фреймворк видели и использовали сеть; при неправильной настройке происходит тихий переход на медленные пути.

По стоимости и доступности инстансы с богатой связью находятся в верхнем ценовом сегменте. Узлы с несколькими GPU и NVLink, а также кластеры с InfiniBand используют премиальное оборудование и пользуются стабильным спросом, поэтому ёмкость по запросу ограничена, а варианты со спотовыми или прерываемыми инстансами встречаются реже, чем для одиночных GPU. Особенно часто распределённые InfiniBand-выделения требуют предварительного согласования, брони или продаются крупными блоками. Рассматривайте цены в таблице выше как актуальную справочную информацию, так как ставки меняются и зависят от провайдера.

Часто задаваемые вопросы

Нужны ли мне и NVLink, и InfiniBand?

Это зависит от масштаба. Задача с несколькими GPU в одном узле требует только NVLink. Как только обучение охватывает несколько серверов, вам также нужен InfiniBand для связи между узлами — эти два интерфейса работают на разных уровнях, поэтому большой кластер обычно использует NVLink внутри каждого корпуса и InfiniBand между корпусами.

Будет ли моя задача на одном GPU работать быстрее на инстансе с NVLink или InfiniBand?

Нет. Оба интерфейса важны только тогда, когда данные перемещаются между GPU или между узлами. Задача, помещающаяся на одном GPU, никогда не использует эти сети, поэтому вы будете платить премию за ресурсы, которые не сможете использовать. Фильтруйте по ним только при масштабировании более одного GPU.

Почему интерфейс важнее характеристик одного GPU для больших задач обучения?

Распределённое обучение тратит значительную часть каждого шага на обмен градиентами и активациями. Если сеть не справляется с нагрузкой, GPU простаивают в ожидании синхронизации, и добавление новых GPU даёт всё меньший эффект. Быстрый интерфейс сохраняет почти линейное масштабирование при добавлении ускорителей.

Доступен ли NVLink на каждом инстансе с несколькими GPU?

Нет. Некоторые узлы с несколькими GPU соединяют карты только через PCIe, что даёт гораздо меньшую пропускную способность между GPU. Наличие нескольких GPU не гарантирует NVLink, поэтому уточняйте интерфейс явно в сравнении выше, а не делайте выводы по количеству GPU.