Cloud GPU-aanbieders met NVLink of InfiniBand

Wat NVLink en InfiniBand eigenlijk doen wanneer u multi-GPU rekenkracht huurt

NVLink en InfiniBand lossen hetzelfde fundamentele probleem op vanuit twee verschillende kanten van de machine: het snel genoeg verplaatsen van data tussen GPU’s zodat de versnellers hun tijd besteden aan rekenen in plaats van wachten. De filter hierboven beperkt de lijst tot cloud-instanties die een of beide van deze interconnects aanbieden. Ze zijn niet uitwisselbaar — de ene is een intra-node netwerk dat GPU’s binnen één server verbindt, en de andere is een inter-node netwerk dat servers samenvoegt tot een cluster. Voor elke werklast die meer dan één GPU beslaat, is de interconnect vaak het verschil tussen bijna-lineaire schaalvergroting en een opstelling waarbij het toevoegen van GPU’s nauwelijks helpt.

NVLink: de snelle verbinding tussen GPU’s binnen één kast

NVLink is NVIDIA’s directe GPU-naar-GPU verbinding. In plaats van verkeer via de host PCIe-bus en CPU te routeren, verbindt NVLink GPU’s rechtstreeks met elkaar (en op sommige platforms via een NVSwitch crossbar), zodat elke GPU in de node met elke andere GPU kan communiceren met hoge bandbreedte en lage latentie. Het praktische voordeel wanneer u een NVLink-uitgeruste instantie huurt:

• Veel hogere GPU-naar-GPU bandbreedte dan alleen PCIe-nodes, wat belangrijk is wanneer gradiënten, activaties of modelonderdelen bij elke stap moeten worden uitgewisseld.
• Gedeeld geheugen over GPU’s heen in de praktijk — een model dat te groot is voor het VRAM van één GPU kan worden verdeeld over het NVLink-domein waarbij het verkeer tussen GPU’s over het snelle netwerk blijft in plaats van via PCIe te kruipen.
• Lagere synchronisatie-overhead voor collectieve operaties zoals all-reduce, die domineren bij data-parallelle training.

NVLink bevindt zich binnen één node, dus het bereik is typisch 2, 4 of 8 GPU’s afhankelijk van het serverontwerp. Als een aanbieder in de bovenstaande lijst een 8-GPU node “met NVLink” adverteert, betekent dat die acht kaarten nauw gekoppeld zijn. Het zegt op zichzelf niets over hoe die node verbonden is met andere nodes.

InfiniBand: het netwerk dat veel servers tot één cluster maakt

InfiniBand is een netwerktechnologie die wordt gebruikt om aparte GPU-servers te verbinden. Wanneer trainingsjobs te groot worden voor één node, verschuift de bottleneck van binnen de kast naar tussen kasten, en gewone Ethernet-netwerken kunnen de GPU’s vertragen. InfiniBand lost dit op met zeer hoge doorvoersnelheid per verbinding, lage en voorspelbare latentie, en RDMA (remote direct memory access), waarmee een server het geheugen van een andere server kan lezen of schrijven zonder de CPU aan beide zijden te betrekken. In combinatie met GPUDirect RDMA kan data van GPU naar GPU over nodes bewegen terwijl host-geheugenkopieën grotendeels worden omzeild.

Voor multi-node training is dit wat schaalvergroting efficiënt houdt. De reden dat een cluster van bijvoorbeeld tientallen of honderden GPU’s een groot model in redelijke tijd kan trainen, is dat het inter-node netwerk de collectieve communicatie die het algoritme vereist kan bijhouden. Bij gebruik van standaard netwerken kan dezelfde taak een groot deel van zijn tijd wachten op het netwerk.

Welke werklasten hebben dit eigenlijk nodig

Filteren op NVLink of InfiniBand is zinvol wanneer communicatie, niet alleen ruwe rekenkracht, op het kritieke pad ligt:

• Training en fine-tuning van grote modellen die parameters, optimizerstatus of lagen over GPU’s verdelen (tensor-, pipeline- of volledig geshard data-parallelisme) — deze schema’s genereren constante cross-GPU communicatie en profiteren het meest van NVLink binnen een node en InfiniBand tussen nodes.
• Multi-node gedistribueerde training waarbij de taak simpelweg niet in één server past — hier is InfiniBand de doorslaggevende factor voor schaalvergrotingsefficiëntie.
• HPC en wetenschappelijke simulatie met strakke inter-proces communicatie, die al jaren steunt op InfiniBand en RDMA.
• Inference met grote context of grote modellen die een enkel model over meerdere GPU’s verdelen, waarbij NVLink de latentiepenalty van cross-GPU aandacht en gewichtsaccess vermindert.

Het is echt overkill voor werk op één GPU. Fine-tunen van een klein model, batch-inference die op één kaart past, de meeste renderingtaken en experimenten draaien prima op een losse GPU. Extra betalen voor een strak verbonden node of een InfiniBand-cluster brengt geen voordeel als uw taak nooit de GPU-grens overschrijdt.

Wat te controleren voordat u huurt

De twee interconnects worden vaak door elkaar gehaald in marketingteksten, dus controleer de details aan de hand van de bovenstaande vergelijking:

• Bereik — bevestig of de vermelding NVLink (binnen-node GPU-koppeling) of InfiniBand (tussen-node netwerken) betekent. Een single-node instantie kan NVLink hebben en helemaal geen InfiniBand.
• Topologie en breedte — hoeveel GPU’s het NVLink-domein delen (volledige NVSwitch all-to-all versus gedeeltelijke bruggen), en de InfiniBand-link snelheid en of RDMA/GPUDirect is ingeschakeld.
• Generatie — nieuwere GPU-generaties hebben NVLink met hogere bandbreedte; een “NVLink” label alleen zegt niets over de snelheid.
• Multi-node beschikbaarheid — of u daadwerkelijk meerdere onderling verbonden nodes kunt reserveren, en of ze in hetzelfde netwerk vallen in plaats van verspreid over het datacenter.
• Software-ondersteuning — dat NCCL, MPI en uw framework het netwerk zien en gebruiken; verkeerde configuratie valt stilzwijgend terug op trage paden.

Qua kosten en beschikbaarheid bevinden interconnect-rijke instanties zich aan de hogere kant van het spectrum. Multi-GPU nodes met NVLink en InfiniBand-verbonden clusters gebruiken premium hardware en zijn continu in trek, dus on-demand capaciteit is beperkter en spot- of interruptible opties zijn schaarser dan voor enkele commodity GPU’s. Multi-node InfiniBand-toewijzingen zijn vaak beperkt, gereserveerd of worden in grotere blokken verkocht. Beschouw de prijzen in de bovenstaande tabel als de actuele referentie, aangezien tarieven bewegen en per aanbieder verschillen.

Veelgestelde vragen

Heb ik zowel NVLink als InfiniBand nodig?

Dat hangt af van de schaal. Een multi-GPU taak binnen één node heeft alleen NVLink nodig. Zodra uw training meerdere servers beslaat, wilt u ook InfiniBand om die nodes te verbinden — de twee werken op verschillende lagen, dus een groot cluster vertrouwt doorgaans op NVLink binnen elke kast en InfiniBand tussen kasten.

Draait mijn single-GPU werklast sneller op een NVLink- of InfiniBand-instantie?

Nee. Beide interconnects zijn alleen relevant wanneer data tussen GPU’s of tussen nodes beweegt. Een werklast die op één GPU past raakt geen van beide netwerken, dus u zou een premie betalen voor capaciteit die u niet gebruikt. Filter hier alleen op wanneer u verder schaalt dan één GPU.

Waarom is de interconnect belangrijker dan per-GPU specificaties voor grote trainingsjobs?

Gedistrubueerde training besteedt een groot deel van elke stap aan het uitwisselen van gradiënten en activaties. Als het netwerk niet kan bijhouden, staan de GPU’s stil terwijl ze wachten op synchronisatie, en levert het toevoegen van meer GPU’s steeds minder op. Een snelle interconnect behoudt bijna-lineaire schaalvergroting naarmate u meer versnellers toevoegt.

Is NVLink beschikbaar op elke multi-GPU instantie?

Nee. Sommige multi-GPU nodes verbinden hun kaarten alleen via PCIe, wat veel lagere GPU-naar-GPU bandbreedte heeft. De aanwezigheid van meerdere GPU’s garandeert geen NVLink, dus bevestig de interconnect expliciet in de bovenstaande vergelijking in plaats van het af te leiden uit het aantal GPU’s.