Cloud GPU-aanbieders met NVLink of InfiniBand

Wat NVLink en InfiniBand daadwerkelijk doen wanneer u multi-GPU computing huurt

NVLink en InfiniBand lossen hetzelfde fundamentele probleem op vanuit twee verschillende kanten van de machine: het snel genoeg verplaatsen van data tussen GPU’s zodat de accelerators hun tijd besteden aan rekenen in plaats van wachten. De filter hierboven beperkt de lijst tot cloud-instanties die een of beide van deze interconnects aanbieden. Ze zijn niet uitwisselbaar — de ene is een intra-node netwerk die GPU’s binnen één server verbindt, en de andere is een inter-node netwerk die servers samenvoegt tot een cluster. Voor elke workload die meer dan één GPU beslaat, is de interconnect vaak het verschil tussen bijna-lineaire schaalvergroting en een opstelling waarbij het toevoegen van GPU’s nauwelijks helpt.

NVLink: de snelle verbinding tussen GPU’s binnen één kast

NVLink is NVIDIA’s directe GPU-naar-GPU verbinding. In plaats van het verkeer via de host PCIe-bus en CPU te leiden, verbindt NVLink GPU’s direct met elkaar (en op sommige platforms via een NVSwitch crossbar), zodat elke GPU in de node met elke andere GPU kan communiceren met hoge bandbreedte en lage latentie. Het praktische gevolg wanneer u een NVLink-uitgeruste instantie huurt:

• Veel hogere GPU-naar-GPU bandbreedte dan PCIe-only nodes, wat belangrijk is wanneer gradients, activaties of modelonderdelen bij elke stap moeten worden uitgewisseld.
• Gedeeld geheugen over GPU’s heen in de praktijk — een model dat te groot is voor het VRAM van één GPU kan worden verdeeld over het NVLink-domein waarbij het verkeer tussen GPU’s over het snelle netwerk blijft in plaats van via PCIe te kruipen.
• Lagere synchronisatie-overhead voor collectieve operaties zoals all-reduce, die domineren bij data-parallel training.

NVLink bevindt zich binnen één node, dus het bereik is meestal 2, 4 of 8 GPU’s afhankelijk van het serverontwerp. Als een aanbieder in de lijst hierboven een 8-GPU node “met NVLink” adverteert, betekent dat die acht kaarten nauw gekoppeld zijn. Dit zegt op zichzelf niets over hoe die node verbonden is met andere nodes.

InfiniBand: het netwerk dat veel servers tot één cluster maakt

InfiniBand is een netwerktechnologie die wordt gebruikt om aparte GPU-servers te verbinden. Wanneer trainingsjobs te groot worden voor één node, verschuift de bottleneck van binnen de kast naar tussen kasten, en gewone Ethernet-netwerken kunnen de GPU’s vertragen. InfiniBand lost dit op met zeer hoge doorvoersnelheid per verbinding, lage en voorspelbare latentie, en RDMA (remote direct memory access), waarmee één server het geheugen van een andere server kan lezen of schrijven zonder de CPU aan beide zijden te belasten. In combinatie met GPUDirect RDMA kan data van GPU naar GPU over nodes bewegen terwijl het grotendeels de host-geheugenkopieën omzeilt.

Voor multi-node training is dit wat de schaalvergroting efficiënt houdt. De reden dat een cluster van bijvoorbeeld tientallen of honderden GPU’s een groot model binnen redelijke tijd kan trainen, is dat het inter-node netwerk de collectieve communicatie kan bijhouden die het algoritme vereist. Met standaard netwerken kan dezelfde taak een groot deel van zijn tijd wachten op het netwerk.

Welke workloads hebben dit eigenlijk nodig

Filteren op NVLink of InfiniBand is zinvol wanneer communicatie, niet alleen ruwe rekencapaciteit, op het kritieke pad ligt:

• Training en fine-tuning van grote modellen die parameters, optimizer-status of lagen over GPU’s verdelen (tensor-, pipeline- of volledig geshard data-parallelisme) — deze schema’s genereren constante cross-GPU communicatie en profiteren het meest van NVLink binnen een node en InfiniBand tussen nodes.
• Multi-node gedistribueerde training waarbij de taak simpelweg niet in één server past — hier is InfiniBand de doorslaggevende factor voor schaalvergrotingsefficiëntie.
• HPC en wetenschappelijke simulaties met strakke inter-proces communicatie, die al jaren vertrouwen op InfiniBand en RDMA.
• Inference met grote context of grote modellen die een enkel model over meerdere GPU’s verdelen, waarbij NVLink de latentie van cross-GPU aandacht en gewichtstoegang vermindert.

Het is echt overkill voor werk met één GPU. Fine-tunen van een klein model, batch-inference die op één kaart past, de meeste renderingtaken en experimenten draaien prima op een enkele GPU. De meerprijs betalen voor een nauw verbonden node of een InfiniBand-cluster brengt geen voordeel als uw taak nooit de GPU-grens overschrijdt.

Wat te controleren voordat u huurt

De twee interconnects worden vaak door elkaar gehaald in marketingteksten, dus verifieer de details aan de hand van de vergelijking hierboven:

• Bereik — bevestig of de aanbieding NVLink betekent (binnen-node GPU-koppeling) of InfiniBand (tussen-node netwerk). Een single-node instantie kan NVLink hebben en helemaal geen InfiniBand.
• Topologie en breedte — hoeveel GPU’s delen het NVLink-domein (volledige NVSwitch all-to-all vs. gedeeltelijke bruggen), en de InfiniBand-link snelheid en of RDMA/GPUDirect is ingeschakeld.
• Generatie — nieuwere GPU-generaties hebben NVLink met hogere bandbreedte; een “NVLink” label alleen vertelt u niet de snelheid.
• Multi-node beschikbaarheid — of u daadwerkelijk meerdere onderling verbonden nodes kunt reserveren, en of ze in hetzelfde netwerk zitten in plaats van verspreid over het datacenter.
• Software-ondersteuning — dat NCCL, MPI en uw framework het netwerk zien en gebruiken; verkeerde configuratie valt stilzwijgend terug op trage paden.

Qua kosten en beschikbaarheid bevinden interconnect-rijke instanties zich aan de hogere kant van het spectrum. Multi-GPU nodes met NVLink en clusters verbonden met InfiniBand gebruiken premium hardware en zijn continu in trek, dus on-demand capaciteit is beperkter en spot- of onderbreekbare opties zijn schaarser dan voor enkele commodity GPU’s. Multi-node InfiniBand-toewijzingen zijn vaak beperkt, gereserveerd of worden in grotere blokken verkocht. Beschouw de prijzen in de tabel hierboven als de actuele referentie, aangezien tarieven bewegen en per aanbieder verschillen.

Veelgestelde vragen

Heb ik zowel NVLink als InfiniBand nodig?

Dat hangt af van de schaal. Een multi-GPU taak binnen één node heeft alleen NVLink nodig. Zodra uw training meerdere servers beslaat, wilt u ook InfiniBand die die nodes verbindt — de twee werken op verschillende lagen, dus een groot cluster vertrouwt meestal op NVLink binnen elke kast en InfiniBand tussen kasten.

Draait mijn single-GPU workload sneller op een NVLink- of InfiniBand-instantie?

Nee. Beide interconnects zijn alleen relevant wanneer data tussen GPU’s of tussen nodes beweegt. Een taak die op één GPU past raakt geen van beide netwerken aan, dus u betaalt een meerprijs voor capaciteit die u niet gebruikt. Filter hier alleen op wanneer u verder schaalt dan één GPU.

Waarom is de interconnect belangrijker dan per-GPU specificaties voor grote trainingsjobs?

Gedistrubeerde training besteedt een groot deel van elke stap aan het uitwisselen van gradients en activaties. Als het netwerk het tempo niet bijhoudt, staan de GPU’s stil terwijl ze wachten om te synchroniseren, en levert het toevoegen van meer GPU’s steeds minder op. Een snelle interconnect behoudt bijna-lineaire schaalvergroting naarmate u meer accelerators toevoegt.

Is NVLink beschikbaar op elke multi-GPU instantie?

Nee. Sommige multi-GPU nodes verbinden hun kaarten alleen via PCIe, wat veel lagere GPU-naar-GPU bandbreedte heeft. De aanwezigheid van meerdere GPU’s garandeert geen NVLink, dus bevestig de interconnect expliciet in de vergelijking hierboven in plaats van het aan te nemen op basis van het aantal GPU’s.