Fournisseurs de GPU Cloud avec NVLink ou InfiniBand

Ce que NVLink et InfiniBand font réellement lorsque vous louez un calcul multi-GPU

NVLink et InfiniBand résolvent le même problème fondamental sous deux angles différents de la machine : déplacer les données entre les GPU assez rapidement pour que les accélérateurs passent leur temps à calculer plutôt qu’à attendre. Le filtre ci-dessus restreint la liste aux instances cloud qui exposent un ou les deux de ces interconnexions. Ils ne sont pas interchangeables — l’un est un tissu intra-nœud qui relie les GPU à l’intérieur d’un seul serveur, et l’autre est un tissu inter-nœuds qui relie les serveurs entre eux en un cluster. Pour toute charge de travail qui s’étend sur plus d’un GPU, l’interconnexion fait souvent la différence entre une mise à l’échelle quasi linéaire et une configuration où ajouter des GPU n’aide guère.

NVLink : la voie rapide entre GPU dans une même machine

NVLink est le lien direct GPU-à-GPU de NVIDIA. Au lieu de faire transiter le trafic par le bus PCIe hôte et le CPU, NVLink connecte les GPU entre eux (et sur certaines plateformes via un commutateur NVSwitch) de sorte que chaque GPU du nœud peut communiquer avec tous les autres GPU à haute bande passante et faible latence. La conséquence pratique lorsque vous louez une instance équipée de NVLink :

• Une bande passante GPU-à-GPU bien plus élevée que sur des nœuds PCIe uniquement, ce qui est important chaque fois que gradients, activations ou fragments de modèle doivent être échangés à chaque étape.
• Une mémoire mutualisée entre GPU en pratique — un modèle trop grand pour la VRAM d’un seul GPU peut être réparti sur le domaine NVLink avec le trafic inter-GPU restant sur le tissu rapide plutôt que de transiter lentement par PCIe.
• Une surcharge de synchronisation réduite pour les opérations collectives comme l’all-reduce, qui dominent l’entraînement en parallèle de données.

NVLink se trouve à l’intérieur d’un seul nœud, donc sa portée est généralement de 2, 4 ou 8 GPU selon la conception du serveur. Si un fournisseur dans la liste ci-dessus annonce un nœud 8-GPU “avec NVLink”, cela signifie que ces huit cartes sont étroitement couplées. Cela ne dit rien, en soi, sur la façon dont ce nœud est connecté aux autres nœuds.

InfiniBand : le tissu qui transforme plusieurs serveurs en un cluster

InfiniBand est une technologie réseau utilisée pour connecter des serveurs GPU séparés. Lorsque les tâches d’entraînement dépassent un seul nœud, le goulot d’étranglement se déplace de l’intérieur de la machine vers l’extérieur, et le réseau Ethernet ordinaire peut bloquer les GPU. InfiniBand répond à cela avec un débit très élevé par lien, une latence faible et prévisible, et RDMA (accès direct à la mémoire à distance), qui permet à un serveur de lire ou d’écrire la mémoire d’un autre serveur sans impliquer le CPU des deux côtés. Associé à GPUDirect RDMA, les données peuvent circuler de GPU à GPU entre les nœuds tout en contournant largement les copies en mémoire hôte.

Pour l’entraînement multi-nœuds, c’est ce qui maintient l’efficacité de la mise à l’échelle. La raison pour laquelle un cluster de, disons, des dizaines ou des centaines de GPU peut entraîner un grand modèle en un temps raisonnable est que le tissu inter-nœuds suit la communication collective que l’algorithme exige. Passer à un réseau standard et la même tâche peut passer une grande partie de son temps réel à attendre sur le réseau.

Quelles charges de travail ont réellement besoin de cela

Filtrer pour NVLink ou InfiniBand a du sens lorsque la communication, pas seulement la puissance brute de calcul, est sur le chemin critique :

• Entraînement et ajustement de grands modèles qui fragmentent paramètres, état de l’optimiseur ou couches entre GPU (par parallélisme tensoriel, pipeline ou entièrement fragmenté) — ces schémas génèrent un trafic constant entre GPU et bénéficient le plus de NVLink dans un nœud et d’InfiniBand entre nœuds.
• Entraînement distribué multi-nœuds lorsque la tâche ne tient tout simplement pas dans un serveur — ici InfiniBand est le facteur décisif pour l’efficacité de la mise à l’échelle.
• HPC et simulation scientifique avec une communication inter-processus serrée, qui s’appuie depuis des années sur InfiniBand et RDMA.
• Inférence de contexte large ou de grands modèles qui répartit un modèle unique sur plusieurs GPU, où NVLink réduit la pénalité de latence des accès croisés à l’attention et aux poids entre GPU.

C’est vraiment excessif pour un travail sur un seul GPU. L’ajustement fin d’un petit modèle, l’exécution d’inférences par lots qui tiennent sur une seule carte, la plupart des travaux de rendu et les expérimentations fonctionnent très bien sur un GPU autonome. Payer le supplément pour un nœud étroitement interconnecté ou un cluster InfiniBand n’apporte aucun avantage si votre tâche ne dépasse jamais la limite du GPU.

Ce qu’il faut vérifier avant de louer

Les deux interconnexions sont souvent confondues dans les textes marketing, donc vérifiez les spécificités par rapport à la comparaison ci-dessus :

• Portée — confirmez si l’annonce signifie NVLink (couplage GPU intra-nœud) ou InfiniBand (réseau inter-nœuds). Une instance mono-nœud peut avoir NVLink sans aucun InfiniBand.
• Topologie et largeur — combien de GPU partagent le domaine NVLink (NVSwitch complet tout-à-tout vs ponts partiels), le débit du lien InfiniBand et si RDMA/GPUDirect est activé.
• Génération — les générations de GPU plus récentes disposent d’un NVLink à plus haute bande passante ; une étiquette “NVLink” seule ne renseigne pas sur la vitesse.
• Disponibilité multi-nœuds — si vous pouvez réellement réserver plusieurs nœuds interconnectés, et s’ils se trouvent dans le même tissu plutôt que dispersés dans le centre de données.
• Support logiciel — que NCCL, MPI et votre framework détectent et utilisent le tissu ; une mauvaise configuration retombe silencieusement sur des chemins lents.

En termes de coût et de disponibilité, les instances riches en interconnexions se situent plutôt dans la fourchette haute. Les nœuds multi-GPU équipés de NVLink et les clusters connectés par InfiniBand utilisent du matériel premium et sont en demande constante, donc la capacité à la demande est plus limitée et les options spot ou interruptibles sont plus rares que pour des GPU simples standards. Les allocations InfiniBand multi-nœuds en particulier sont souvent restreintes, réservées ou vendues en blocs plus importants. Considérez les prix dans le tableau ci-dessus comme la référence en temps réel, car les tarifs évoluent et varient selon le fournisseur.

Questions fréquemment posées

Ai-je besoin à la fois de NVLink et d’InfiniBand ?

Cela dépend de l’échelle. Une tâche multi-GPU sur un seul nœud n’a besoin que de NVLink. Dès que votre entraînement s’étend sur plusieurs serveurs, vous voulez aussi InfiniBand pour connecter ces nœuds — les deux fonctionnent à des couches différentes, donc un grand cluster s’appuie généralement sur NVLink à l’intérieur de chaque machine et InfiniBand entre les machines.

Mon travail sur un seul GPU sera-t-il plus rapide sur une instance NVLink ou InfiniBand ?

Non. Les deux interconnexions ne comptent que lorsque les données circulent entre GPU ou entre nœuds. Une charge de travail qui tient sur un seul GPU ne touche jamais à ces tissus, donc vous paieriez un supplément pour une capacité que vous ne pouvez pas utiliser. Filtrez pour ces options uniquement lorsque vous évoluez au-delà d’un GPU.

Pourquoi l’interconnexion importe-t-elle plus que les spécifications par GPU pour les gros travaux d’entraînement ?

L’entraînement distribué passe une grande part de chaque étape à échanger gradients et activations. Si le tissu ne suit pas, les GPU restent inactifs en attendant la synchronisation, et ajouter plus de GPU donne des rendements décroissants. Une interconnexion rapide est ce qui préserve une mise à l’échelle quasi linéaire à mesure que vous ajoutez des accélérateurs.

NVLink est-il disponible sur toutes les instances multi-GPU ?

Non. Certains nœuds multi-GPU connectent leurs cartes uniquement via PCIe, qui offre une bande passante GPU-à-GPU bien plus faible. La présence de plusieurs GPU ne garantit pas NVLink, donc confirmez explicitement l’interconnexion dans la comparaison ci-dessus plutôt que de la supposer d’après le nombre de GPU.