Fornitori di GPU Cloud con NVLink o InfiniBand

Cosa fanno realmente NVLink e InfiniBand quando si noleggia un calcolo multi-GPU

NVLink e InfiniBand risolvono lo stesso problema fondamentale da due lati diversi della macchina: spostare i dati tra le GPU abbastanza velocemente affinché gli acceleratori trascorrano il loro tempo a calcolare piuttosto che ad aspettare. Il filtro sopra restringe la lista alle istanze cloud che espongono uno o entrambi questi interconnettori. Non sono intercambiabili — uno è un intra-nodo fabric che collega le GPU all’interno di un singolo server, e l’altro è un inter-nodo fabric che collega i server insieme in un cluster. Per qualsiasi carico di lavoro che coinvolge più di una GPU, l’interconnettore è spesso la differenza tra una scalabilità quasi lineare e una configurazione in cui aggiungere GPU aiuta a malapena.

NVLink: la corsia veloce tra GPU all’interno di un unico sistema

NVLink è il collegamento diretto GPU-to-GPU di NVIDIA. Invece di instradare il traffico attraverso il bus PCIe dell’host e la CPU, NVLink connette le GPU tra loro (e su alcune piattaforme tramite un crossbar NVSwitch) così che ogni GPU nel nodo possa comunicare con ogni altra GPU ad alta larghezza di banda e bassa latenza. Il risultato pratico quando si noleggia un’istanza dotata di NVLink:

• Larghezza di banda molto più elevata tra GPU rispetto ai nodi solo PCIe, cosa che conta ogni volta che gradienti, attivazioni o frammenti di modello devono essere scambiati ad ogni passo.
• Memoria condivisa tra GPU nella pratica — un modello troppo grande per la VRAM di una singola GPU può essere suddiviso attraverso il dominio NVLink con il traffico cross-GPU che rimane sul fabric veloce invece di passare lentamente su PCIe.
• Minore overhead di sincronizzazione per operazioni collettive come all-reduce, che dominano l’addestramento data-parallelo.

NVLink vive all’interno di un singolo nodo, quindi il suo ambito è tipicamente 2, 4 o 8 GPU a seconda del design del server. Se un provider nella lista sopra pubblicizza un nodo con 8 GPU “con NVLink”, significa che quelle otto schede sono strettamente collegate. Non dice nulla, da solo, su come quel nodo si collega ad altri nodi.

InfiniBand: il fabric che trasforma molti server in un unico cluster

InfiniBand è una tecnologia di rete usata per connettere server GPU separati. Quando i lavori di addestramento superano un singolo nodo, il collo di bottiglia si sposta dall’interno della scatola tra le scatole, e la rete Ethernet ordinaria può rallentare le GPU. InfiniBand risolve questo con una larghezza di banda per collegamento molto alta, una latenza bassa e prevedibile, e RDMA (remote direct memory access), che permette a un server di leggere o scrivere la memoria di un altro server senza coinvolgere la CPU da nessuna delle due parti. Abbinato a GPUDirect RDMA, i dati possono muoversi da GPU a GPU tra nodi bypassando in gran parte le copie di memoria dell’host.

Per l’addestramento multi-nodo, questo è ciò che mantiene efficiente la scalabilità. Il motivo per cui un cluster di, diciamo, decine o centinaia di GPU può addestrare un modello grande in un tempo ragionevole è che il fabric inter-nodo tiene il passo con la comunicazione collettiva richiesta dall’algoritmo. Passare a una rete commodity e lo stesso lavoro può trascorrere una grande parte del suo tempo reale aspettando la rete.

Quali carichi di lavoro ne hanno effettivamente bisogno

Filtrare per NVLink o InfiniBand ha senso quando la comunicazione, non solo la potenza di calcolo grezza, è sul percorso critico:

• Addestramento e fine-tuning di modelli grandi che frammentano parametri, stato dell’ottimizzatore o layer tra GPU (parallelismo tensoriale, a pipeline o completamente frammentato) — questi schemi generano traffico costante cross-GPU e traggono maggior beneficio da NVLink all’interno di un nodo e InfiniBand tra nodi.
• Addestramento distribuito multi-nodo dove il lavoro semplicemente non entra in un singolo server — qui InfiniBand è il fattore decisivo per l’efficienza della scalabilità.
• HPC e simulazioni scientifiche con comunicazione inter-processo stretta, che si sono affidate a InfiniBand e RDMA per anni.
• Inferenza su contesti grandi o modelli grandi che suddivide un singolo modello su più GPU, dove NVLink riduce la penalità di latenza dell’attenzione e accesso ai pesi cross-GPU.

È davvero eccessivo per lavori su singola GPU. Il fine-tuning di un modello piccolo, l’esecuzione di inferenze batch che entrano su una sola scheda, la maggior parte dei lavori di rendering e la sperimentazione funzionano bene su una GPU autonoma. Pagare il premio per un nodo strettamente interconnesso o un cluster InfiniBand non porta alcun beneficio se il suo lavoro non supera mai il confine della GPU.

Cosa verificare prima di noleggiare

I due interconnettori sono frequentemente confusi nel marketing, quindi verifichi le specifiche rispetto al confronto sopra:

• Ambito — confermi se l’annuncio indica NVLink (collegamento GPU all’interno del nodo) o InfiniBand (rete tra nodi). Un’istanza a nodo singolo può avere NVLink e nessun InfiniBand.
• Topologia e larghezza — quante GPU condividono il dominio NVLink (NVSwitch completo all-to-all vs. ponti parziali), e la velocità del collegamento InfiniBand e se RDMA/GPUDirect è abilitato.
• Generazione — le generazioni più recenti di GPU portano NVLink a larghezza di banda più alta; una semplice etichetta “NVLink” non indica la velocità.
• Disponibilità multi-nodo — se può effettivamente riservare più nodi interconnessi, e se questi si trovano nello stesso fabric piuttosto che sparsi nel data center.
• Supporto software — che NCCL, MPI e il suo framework vedano e usino il fabric; una configurazione errata ricade silenziosamente su percorsi lenti.

Quanto a costi e disponibilità, le istanze ricche di interconnettori si collocano verso l’estremità superiore dello spettro. I nodi multi-GPU dotati di NVLink e i cluster connessi via InfiniBand usano hardware premium e sono costantemente richiesti, quindi la capacità on-demand è più limitata e le opzioni spot o interrompibili sono più scarse rispetto alle GPU commodity singole. Le allocazioni InfiniBand multi-nodo in particolare sono spesso soggette a restrizioni, riservate o vendute in blocchi più grandi. Tratti i prezzi nella tabella sopra come riferimento aggiornato, poiché le tariffe variano e differiscono per provider.

Domande frequenti

Ho bisogno sia di NVLink che di InfiniBand?

Dipende dalla scala. Un lavoro multi-GPU a nodo singolo ha bisogno solo di NVLink. Nel momento in cui il suo addestramento si estende su più server, vuole anche InfiniBand che connetta quei nodi — i due operano a livelli diversi, quindi un grande cluster tipicamente si affida a NVLink all’interno di ogni sistema e InfiniBand tra i sistemi.

Il mio carico di lavoro su singola GPU girerà più velocemente su un’istanza NVLink o InfiniBand?

No. Entrambi gli interconnettori contano solo quando i dati si muovono tra GPU o tra nodi. Un carico di lavoro che entra in una sola GPU non tocca nessuno dei due fabric, quindi pagherebbe un premio per una capacità che non può usare. Filtri per questi solo quando scala oltre una GPU.

Perché l’interconnettore conta più delle specifiche per GPU nei grandi lavori di addestramento?

L’addestramento distribuito spende una grande parte di ogni passo scambiando gradienti e attivazioni. Se il fabric non tiene il passo, le GPU restano inattive mentre aspettano di sincronizzarsi, e aggiungere più GPU produce rendimenti decrescenti. Un interconnettore veloce è ciò che preserva una scalabilità quasi lineare man mano che si aggiungono acceleratori.

NVLink è disponibile su ogni istanza multi-GPU?

No. Alcuni nodi multi-GPU collegano le loro schede solo tramite PCIe, che ha una larghezza di banda GPU-to-GPU molto più bassa. La presenza di più GPU non garantisce NVLink, quindi confermi esplicitamente l’interconnettore nel confronto sopra invece di presumere dal numero di GPU.