Furnizori de GPU în cloud cu NVLink sau InfiniBand

Ce fac de fapt NVLink și InfiniBand când închiriezi calcul multi-GPU

NVLink și InfiniBand rezolvă aceeași problemă fundamentală din două perspective diferite ale mașinii: mutarea datelor între GPU-uri suficient de rapid astfel încât acceleratoarele să petreacă timpul calculând în loc să aștepte. Filtrul de mai sus restrânge lista la instanțe cloud care expun unul sau ambele dintre aceste interconectări. Ele nu sunt interschimbabile — una este o rețea intra-nod care leagă GPU-urile dintr-un singur server, iar cealaltă este o rețea inter-nod care leagă serverele într-un cluster. Pentru orice sarcină care se întinde pe mai mult de un GPU, interconectarea este adesea diferența dintre o scalare aproape liniară și o configurație în care adăugarea de GPU-uri ajută foarte puțin.

NVLink: banda rapidă între GPU-uri dintr-un singur sistem

NVLink este legătura directă GPU-la-GPU a NVIDIA. În loc să direcționeze traficul prin magistrala PCIe a gazdei și CPU, NVLink conectează GPU-urile între ele (și pe unele platforme printr-un comutator NVSwitch) astfel încât fiecare GPU din nod să poată comunica cu fiecare alt GPU la o lățime de bandă mare și cu latență scăzută. Rezultatul practic când închiriezi o instanță echipată cu NVLink:

• Lățime de bandă GPU-la-GPU mult mai mare decât nodurile doar cu PCIe, ceea ce contează ori de câte ori trebuie schimbate gradientele, activările sau fragmentele modelului la fiecare pas.
• Memorie partajată între GPU-uri în practică — un model prea mare pentru memoria VRAM a unui singur GPU poate fi împărțit în domeniul NVLink, traficul între GPU-uri rămânând pe rețeaua rapidă în loc să circule prin PCIe.
• Suprasarcină de sincronizare mai mică pentru operațiuni colective precum all-reduce, care domină antrenamentul paralel pe date.

NVLink funcționează în interiorul unui singur nod, deci aria sa este de obicei 2, 4 sau 8 GPU-uri în funcție de designul serverului. Dacă un furnizor din lista de mai sus promovează un nod cu 8 GPU-uri „cu NVLink”, asta înseamnă că cele opt plăci sunt strâns cuplate. Nu spune nimic, de unul singur, despre cum se conectează acel nod la alte noduri.

InfiniBand: rețeaua care transformă multe servere într-un singur cluster

InfiniBand este o tehnologie de rețea folosită pentru a conecta servere GPU separate. Când joburile de antrenament depășesc un singur nod, blocajul se mută din interiorul cutiei către între cutii, iar rețeaua Ethernet obișnuită poate bloca GPU-urile. InfiniBand rezolvă această problemă printr-un debit foarte mare pe link, latență scăzută și predictibilă și RDMA (acces direct la memorie de la distanță), care permite unui server să citească sau să scrie memoria altui server fără a implica CPU-ul de niciuna dintre părți. Împreună cu GPUDirect RDMA, datele pot circula de la GPU la GPU între noduri, ocolind în mare măsură copiile în memoria gazdei.

Pentru antrenamentul multi-nod, aceasta este ceea ce menține scalarea eficientă. Motivul pentru care un cluster de, să zicem, zeci sau sute de GPU-uri poate antrena un model mare într-un timp rezonabil este că rețeaua inter-nod ține pasul cu comunicarea colectivă cerută de algoritm. Dacă se folosește o rețea obișnuită, același job poate petrece o mare parte din timpul său total așteptând rețeaua.

Care sarcini au nevoie de fapt de asta

Filtrarea pentru NVLink sau InfiniBand are sens când comunicarea, nu doar calculul brut, este pe calea critică:

• Antrenamentul și ajustarea fină a modelelor mari care fragmentează parametrii, starea optimizatorului sau straturile între GPU-uri (paralelism tensorial, pe conductă sau complet fragmentat pe date) — aceste scheme generează trafic constant între GPU-uri și beneficiază cel mai mult de NVLink în interiorul nodului și InfiniBand între noduri.
• Antrenamentul distribuit multi-nod unde jobul pur și simplu nu încape într-un singur server — aici InfiniBand este factorul decisiv pentru eficiența scalării.
• HPC și simulări științifice cu comunicare inter-proces strânsă, care s-au bazat pe InfiniBand și RDMA de ani de zile.
• Inferența cu context mare sau modele mari care împarte un singur model pe mai multe GPU-uri, unde NVLink reduce penalizarea latenței pentru atenția și accesul la greutăți între GPU-uri.

Este cu adevărat exagerat pentru lucrul pe un singur GPU. Ajustarea fină a unui model mic, rularea inferenței batch care încape pe o singură placă, majoritatea joburilor de randare și experimentarea funcționează bine pe un GPU independent. Plata unui premium pentru un nod strâns interconectat sau un cluster InfiniBand nu aduce niciun beneficiu dacă jobul dumneavoastră nu trece niciodată granița GPU-ului.

Ce să verificați înainte să închiriați

Cele două interconectări sunt frecvent confundate în materialele de marketing, așa că verificați specificațiile în raport cu comparația de mai sus:

• Aria — confirmați dacă anunțul se referă la NVLink (cuplarea GPU-urilor în interiorul nodului) sau InfiniBand (rețea între noduri). O instanță cu un singur nod poate avea NVLink și deloc InfiniBand.
• Topologia și lățimea — câte GPU-uri împart domeniul NVLink (NVSwitch complet all-to-all vs. punți parțiale), rata linkului InfiniBand și dacă RDMA/GPUDirect este activat.
• Generația — generațiile mai noi de GPU-uri au NVLink cu lățime de bandă mai mare; eticheta „NVLink” singură nu indică viteza.
• Disponibilitatea multi-nod — dacă puteți rezerva efectiv mai multe noduri interconectate și dacă acestea sunt în aceeași rețea în loc să fie dispersate în centrul de date.
• Suport software — ca NCCL, MPI și cadrul dumneavoastră să vadă și să folosească rețeaua; o configurare greșită revine silențios la căi lente.

În privința costului și disponibilității, instanțele bogate în interconectări se situează spre capătul superior al spectrului. Nodurile multi-GPU echipate cu NVLink și clusterele conectate prin InfiniBand folosesc hardware premium și sunt mereu solicitate, așa că capacitatea la cerere este mai limitată, iar opțiunile spot sau întreruptibile sunt mai rare decât pentru GPU-uri commodity individuale. Alocările multi-nod InfiniBand sunt, în special, adesea restricționate, rezervate sau vândute în blocuri mai mari. Tratați prețurile din tabelul de mai sus ca referință actuală, deoarece tarifele se schimbă și diferă în funcție de furnizor.

Întrebări frecvente

Am nevoie de ambele, NVLink și InfiniBand?

Depinde de scară. Un job multi-GPU pe un singur nod are nevoie doar de NVLink. Din moment ce antrenamentul se extinde pe mai multe servere, veți dori și InfiniBand care să conecteze acele noduri — cele două operează la niveluri diferite, așa că un cluster mare se bazează de obicei pe NVLink în interiorul fiecărui sistem și InfiniBand între sisteme.

Va rula mai rapid sarcina mea pe un singur GPU pe o instanță NVLink sau InfiniBand?

Nu. Ambele interconectări contează doar când datele se mută între GPU-uri sau între noduri. O sarcină care încape pe un singur GPU nu folosește niciuna dintre rețele, deci ați plăti un premium pentru capacitate pe care nu o puteți folosi. Filtrați pentru acestea doar când scalați dincolo de un GPU.

De ce contează mai mult interconectarea decât specificațiile per GPU pentru joburile mari de antrenament?

Antrenamentul distribuit petrece o mare parte din fiecare pas schimbând gradientele și activările. Dacă rețeaua nu ține pasul, GPU-urile stau în așteptare pentru sincronizare, iar adăugarea mai multor GPU-uri aduce beneficii din ce în ce mai mici. O interconectare rapidă este ceea ce păstrează scalarea aproape liniară pe măsură ce adăugați acceleratoare.

Este NVLink disponibil pe fiecare instanță multi-GPU?

Nu. Unele noduri multi-GPU își conectează plăcile doar prin PCIe, care are o lățime de bandă GPU-la-GPU mult mai mică. Prezența mai multor GPU-uri nu garantează NVLink, așa că confirmați explicit interconectarea în comparația de mai sus, în loc să o presupuneți din numărul de GPU-uri.