Furnizori de GPU în cloud cu NVLink sau InfiniBand

Ce fac de fapt NVLink și InfiniBand când închiriezi calcul multi-GPU

NVLink și InfiniBand rezolvă aceeași problemă fundamentală din două perspective diferite ale mașinii: mutarea datelor între GPU-uri suficient de rapid încât acceleratoarele să petreacă timpul calculând, nu așteptând. Filtrul de mai sus restrânge lista la instanțe cloud care expun unul sau ambele dintre aceste interconectări. Ele nu sunt interschimbabile — una este o rețea intra-nod care leagă GPU-urile dintr-un singur server, iar cealaltă este o rețea inter-nod care leagă serverele într-un cluster. Pentru orice sarcină care se întinde pe mai mult de un GPU, interconectarea este adesea diferența dintre o scalare aproape liniară și o configurație în care adăugarea de GPU-uri abia ajută.

NVLink: banda rapidă între GPU-urile dintr-o singură unitate

NVLink este legătura directă GPU-la-GPU a NVIDIA. În loc să direcționeze traficul prin magistrala PCIe a gazdei și CPU, NVLink conectează GPU-urile între ele (și pe unele platforme printr-un comutator NVSwitch) astfel încât fiecare GPU din nod să poată comunica cu fiecare alt GPU la o lățime de bandă mare și latență scăzută. Rezultatul practic când închiriezi o instanță echipată cu NVLink:

• Lățime de bandă mult mai mare GPU-la-GPU decât nodurile doar cu PCIe, ceea ce contează ori de câte ori trebuie schimbate gradientele, activările sau fragmentele modelului la fiecare pas.
• Memorie partajată între GPU-uri în practică — un model prea mare pentru VRAM-ul unui singur GPU poate fi împărțit în domeniul NVLink, traficul între GPU-uri rămânând pe rețeaua rapidă în loc să circule prin PCIe.
• Suprasarcină redusă de sincronizare pentru operațiuni colective precum all-reduce, care domină antrenamentul paralel pe date.

NVLink există în interiorul unui singur nod, deci aria sa este de obicei de 2, 4 sau 8 GPU-uri în funcție de designul serverului. Dacă un furnizor din lista de mai sus promovează un nod cu 8 GPU-uri „cu NVLink”, asta înseamnă că acele opt plăci sunt strâns cuplate. Nu spune nimic, de unul singur, despre cum se conectează acel nod la alte noduri.

InfiniBand: rețeaua care transformă mai multe servere într-un singur cluster

InfiniBand este o tehnologie de rețea folosită pentru a conecta servere GPU separate. Când joburile de antrenament depășesc un singur nod, blocajul se mută din interiorul unității între unități, iar rețeaua Ethernet obișnuită poate bloca GPU-urile. InfiniBand rezolvă această problemă printr-un debit foarte mare pe link, latență scăzută și predictibilă și RDMA (acces direct la memorie de la distanță), care permite unui server să citească sau să scrie memoria altui server fără a implica CPU-ul de pe niciuna dintre părți. Împreună cu GPUDirect RDMA, datele pot circula de la GPU la GPU între noduri, ocolind în mare parte copiile de memorie ale gazdei.

Pentru antrenamentul multi-nod, aceasta este ceea ce menține scalarea eficientă. Motivul pentru care un cluster de, să zicem, zeci sau sute de GPU-uri poate antrena un model mare într-un timp rezonabil este că rețeaua inter-nod ține pasul cu comunicarea colectivă pe care o cere algoritmul. Dacă se folosește o rețea obișnuită, același job poate petrece o mare parte din timpul său de execuție așteptând rețeaua.

Ce sarcini au nevoie efectiv de asta

Filtrarea pentru NVLink sau InfiniBand are sens când comunicarea, nu doar calculul brut, este pe calea critică:

• Antrenamentul și ajustarea fină a modelelor mari care împart parametrii, starea optimizatorului sau straturi între GPU-uri (paralelism tensorial, pe conductă sau complet fragmentat pe date) — aceste scheme generează trafic constant între GPU-uri și beneficiază cel mai mult de NVLink în interiorul nodului și InfiniBand între noduri.
• Antrenamentul distribuit multi-nod unde jobul pur și simplu nu încape într-un singur server — aici InfiniBand este factorul decisiv pentru eficiența scalării.
• HPC și simulări științifice cu comunicare strânsă între procese, care se bazează de ani buni pe InfiniBand și RDMA.
• Inferența cu context mare sau modele mari care împarte un singur model pe mai multe GPU-uri, unde NVLink reduce penalizarea latenței la accesul la atenție și greutăți între GPU-uri.

Este cu adevărat excesiv pentru lucrul cu un singur GPU. Ajustarea fină a unui model mic, rularea inferenței pe loturi care încap pe o singură placă, majoritatea joburilor de randare și experimentarea funcționează bine pe un GPU independent. Plata unui premium pentru un nod strâns interconectat sau un cluster InfiniBand nu aduce niciun beneficiu dacă jobul dumneavoastră nu trece niciodată granița GPU-ului.

Ce să verificați înainte să închiriați

Cele două interconectări sunt frecvent confundate în materialele de marketing, așa că verificați specificațiile în raport cu comparația de mai sus:

• Aria de acoperire — confirmați dacă anunțul se referă la NVLink (cuplarea GPU-urilor în interiorul nodului) sau InfiniBand (rețea între noduri). O instanță single-node poate avea NVLink și deloc InfiniBand.
• Topologia și lățimea de bandă — câte GPU-uri împart domeniul NVLink (NVSwitch complet all-to-all vs. punți parțiale) și rata linkului InfiniBand, precum și dacă RDMA/GPUDirect este activat.
• Generația — generațiile mai noi de GPU-uri au NVLink cu lățime de bandă mai mare; o etichetă „NVLink” singură nu indică viteza.
• Disponibilitatea multi-nod — dacă puteți rezerva efectiv mai multe noduri interconectate și dacă acestea sunt în aceeași rețea, nu dispersate în centrul de date.
• Suport software — ca NCCL, MPI și cadrul dumneavoastră să vadă și să folosească rețeaua; o configurare greșită trece silențios pe căi lente.

În privința costurilor și disponibilității, instanțele bogate în interconectări se situează spre capătul superior al spectrului. Nodurile multi-GPU echipate cu NVLink și cluster-ele conectate prin InfiniBand folosesc hardware premium și sunt în cerere constantă, așa că capacitatea la cerere este mai restrânsă, iar opțiunile spot sau întreruptibile sunt mai rare decât pentru GPU-urile commodity individuale. Alocările multi-nod InfiniBand sunt adesea restricționate, rezervate sau vândute în blocuri mai mari. Tratați prețurile din tabelul de mai sus ca referință în timp real, deoarece tarifele se schimbă și diferă în funcție de furnizor.

Întrebări frecvente

Am nevoie de ambele, NVLink și InfiniBand?

Depinde de scară. Un job multi-GPU pe un singur nod are nevoie doar de NVLink. În momentul în care antrenamentul se întinde pe mai multe servere, doriți și InfiniBand care să conecteze acele noduri — cele două operează la niveluri diferite, așa că un cluster mare se bazează de obicei pe NVLink în interiorul fiecărei unități și InfiniBand între unități.

Va rula mai rapid sarcina mea single-GPU pe o instanță NVLink sau InfiniBand?

Nu. Ambele interconectări contează doar când datele se mută între GPU-uri sau între noduri. O sarcină care încap pe un singur GPU nu atinge niciuna dintre aceste rețele, deci ați plăti un premium pentru capacitate pe care nu o puteți folosi. Filtrați pentru acestea doar când scalați dincolo de un GPU.

De ce contează mai mult interconectarea decât specificațiile per GPU pentru joburile mari de antrenament?

Antrenamentul distribuit petrece o mare parte din fiecare pas schimbând gradientele și activările. Dacă rețeaua nu ține pasul, GPU-urile stau inactivi așteptând sincronizarea, iar adăugarea mai multor GPU-uri aduce beneficii din ce în ce mai mici. O interconectare rapidă este ceea ce păstrează scalarea aproape liniară pe măsură ce adăugați acceleratoare.

Este NVLink disponibil pe fiecare instanță multi-GPU?

Nu. Unele noduri multi-GPU își conectează plăcile doar prin PCIe, care are o lățime de bandă GPU-la-GPU mult mai mică. Prezența mai multor GPU-uri nu garantează NVLink, așa că confirmați explicit interconectarea în comparația de mai sus, nu presupuneți doar din numărul de GPU-uri.