Felhőalapú GPU-szolgáltatók NVLink vagy InfiniBand kapcsolattal

Mit is tesz valójában az NVLink és az InfiniBand, amikor több GPU-s számítást bérel

Az NVLink és az InfiniBand ugyanazt az alapvető problémát oldja meg a gép két különböző oldaláról: az adatok elég gyors átvitele a GPU-k között ahhoz, hogy a gyorsítók a számítással foglalkozzanak, ne pedig várakozzanak. A fenti szűrő leszűkíti a listát olyan felhőpéldányokra, amelyek az egyik vagy mindkét ilyen összeköttetést kínálják. Ezek nem helyettesíthetők egymással — az egyik egy csomóponton belüli hálózat, amely egyetlen szerveren belül köti össze a GPU-kat, míg a másik egy csomópontok közötti hálózat, amely szervereket köt össze egy klaszterbe. Bármely olyan munkaterhelésnél, amely több GPU-t érint, az összeköttetés gyakran a közel lineáris skálázódás és az olyan beállítás között dönt, ahol a GPU-k hozzáadása alig segít.

NVLink: a gyors sáv a GPU-k között egy dobozon belül

Az NVLink az NVIDIA közvetlen GPU-GPU összeköttetése. Ahelyett, hogy a forgalmat a host PCIe buszon és a CPU-n keresztül irányítaná, az NVLink összeköti a GPU-kat egymással (és néhány platformon NVSwitch keresztkapcsolaton keresztül), így a node minden GPU-ja nagy sávszélességgel és alacsony késleltetéssel kommunikálhat minden más GPU-val. A gyakorlatban, amikor NVLink-kel felszerelt példányt bérel, az eredmény:

• Sokkal nagyobb GPU-GPU sávszélesség, mint a kizárólag PCIe-s csomópontoknál, ami fontos, amikor gradiens, aktiváció vagy modellrészek cseréje történik minden lépésben.
• GPU-k közötti közös memória a gyakorlatban — egy modell, amely túl nagy egyetlen GPU VRAM-jához, az NVLink tartományon belül osztható meg, így a GPU-k közötti forgalom a gyors hálózaton marad, nem pedig a PCIe-n keresztül halad lassan.
• Alacsonyabb szinkronizációs költség kollektív műveleteknél, mint az all-reduce, amelyek dominálják az adatpárhuzamos tanítást.

Az NVLink egyetlen node-on belül működik, így tipikusan 2, 4 vagy 8 GPU-ra terjed ki a szerver kialakításától függően. Ha a fenti listán egy szolgáltató 8-GPU-s node-ot hirdet “NVLink-kel”, az azt jelenti, hogy ez a nyolc kártya szorosan összekapcsolt. Ez önmagában nem mond semmit arról, hogy az adott node hogyan kapcsolódik más node-okhoz.

InfiniBand: a hálózat, amely sok szervert egy klaszterré alakít

Az InfiniBand egy hálózati technológia, amely különálló GPU-szervereket köt össze. Amikor a tanítási feladatok kinövik az egyetlen node-ot, a szűk keresztmetszet a dobozon belülről a dobozok közé kerül, és a hagyományos Ethernet hálózat akadályozhatja a GPU-kat. Az InfiniBand ezt nagyon magas linkenkénti átbocsátóképességgel, alacsony és kiszámítható késleltetéssel, valamint RDMA (távoli közvetlen memória-hozzáférés) támogatásával oldja meg, amely lehetővé teszi, hogy egy szerver olvassa vagy írja egy másik szerver memóriáját anélkül, hogy bármelyik CPU-t bevonná. A GPUDirect RDMA-val párosítva az adatok GPU-ról GPU-ra mozoghatnak a node-ok között, miközben nagyrészt megkerülik a host memória másolásokat.

Többnode-os tanítás esetén ez tartja hatékonynak a skálázódást. Az oka annak, hogy egy például több tucat vagy száz GPU-ból álló klaszter ésszerű idő alatt tud egy nagy modellt tanítani, az, hogy a csomópontok közötti hálózat lépést tart az algoritmus által megkövetelt kollektív kommunikációval. Ha visszatérünk a hagyományos hálózathoz, ugyanaz a feladat a teljes futási idő nagy részét a hálózatra várakozással töltheti.

Mely munkaterheléseknek van erre ténylegesen szükségük

Az NVLink vagy InfiniBand szerinti szűrés akkor értelmes, ha a kommunikáció, nem csak a nyers számítás, kritikus útvonalon van:

• Nagy modellű tanítás és finomhangolás, amelyek paramétereket, optimalizáló állapotot vagy rétegeket osztanak meg GPU-k között (tenzoros, csővezetékes vagy teljesen megosztott adatpárhuzamosság) — ezek a sémák folyamatos GPU-közti forgalmat generálnak, és leginkább az NVLink előnyeit élvezik node-on belül, valamint az InfiniBandét node-ok között.
• Többnode-os elosztott tanítás, ahol a feladat egyszerűen nem fér el egy szerveren — itt az InfiniBand a döntő tényező a skálázódási hatékonyság szempontjából.
• Nagy teljesítményű számítás (HPC) és tudományos szimuláció, amely szoros folyamatok közötti kommunikációt igényel, és évek óta az InfiniBandra és RDMA-ra támaszkodik.
• Nagy kontextusú vagy nagy modellű inferencia, amely egyetlen modellt több GPU között oszt meg, ahol az NVLink csökkenti a GPU-k közötti figyelem és súlyhozzáférés késleltetési büntetését.

Egyetlen GPU-s munkákhoz valóban túlzás. Egy kis modell finomhangolása, egyetlen kártyán futó kötegelt inferencia, a legtöbb renderelési feladat és kísérletezés gond nélkül fut önálló GPU-n. Egy szorosan összekapcsolt node vagy InfiniBand klaszter prémiumáért fizetni nem hoz előnyt, ha a feladat soha nem lépi át a GPU-k határát.

Mit ellenőrizzen, mielőtt bérel

A két összeköttetést gyakran összekeverik a marketing szövegekben, ezért ellenőrizze a részleteket a fenti összehasonlítás alapján:

• Hatókör — erősítse meg, hogy a lista NVLinket (node-on belüli GPU-kapcsolat) vagy InfiniBandet (node-ok közötti hálózat) jelent-e. Egyetlen node-os példány rendelkezhet NVLinkkel, de egyáltalán nem InfiniBandel.
• Topológia és szélesség — hány GPU osztozik az NVLink tartományon (teljes NVSwitch minden-összeköttetés vs. részleges hidak), valamint az InfiniBand link sebessége és hogy engedélyezett-e az RDMA/GPUDirect.
• Generáció — az újabb GPU-generációk nagyobb sávszélességű NVLinket hordoznak; az “NVLink” címke önmagában nem árulja el a sebességet.
• Többnode-os elérhetőség — hogy valóban lefoglalhat-e több összekapcsolt node-ot, és hogy ezek ugyanabban a hálózatban helyezkednek-e el, nem pedig szétszórva az adatközpontban.
• Szoftvertámogatás — hogy az NCCL, MPI és az Ön keretrendszere látja és használja-e a hálózatot; a hibás konfiguráció csendben visszatér lassabb útvonalakra.

A költségek és elérhetőség tekintetében az összeköttetésben gazdag példányok a spektrum felső végén helyezkednek el. NVLinkkel felszerelt több-GPU-s node-ok és InfiniBand-kapcsolt klaszterek prémium hardvert használnak és folyamatos kereslet van rájuk, így az azonnali kapacitás szűkösebb, és a spot vagy megszakítható opciók ritkábbak, mint az egyedi, általános GPU-knál. Különösen a többnode-os InfiniBand foglalások gyakran korlátozottak, előre lefoglaltak vagy nagyobb csomagokban értékesítettek. A fenti táblázat árait tekintse élő referenciaértéknek, mivel az árak változnak és szolgáltatónként eltérnek.

Gyakran ismételt kérdések

Szükségem van mind NVLinkre, mind InfiniBandre?

A skálától függ. Egyetlen node-os több-GPU-s feladat csak NVLinket igényel. Amint a tanítás több szervert érint, szüksége lesz InfiniBandre is, amely összeköti ezeket a node-okat — a kettő különböző rétegeken működik, így egy nagy klaszter általában NVLinkre támaszkodik minden dobozon belül és InfiniBandre a dobozok között.

Gyorsabban fut-e az egy-GPU-s munkám NVLink vagy InfiniBand példányon?

Nem. Mindkét összeköttetés csak akkor számít, ha adat mozog GPU-k között vagy node-ok között. Egyetlen GPU-ra illeszkedő munkaterhelés soha nem érinti ezeket a hálózatokat, így prémiumot fizetne olyan kapacitásért, amit nem használ. Csak akkor szűrjön ezekre, ha több GPU-ra skálázódik.

Miért számít jobban az összeköttetés, mint az egyes GPU-k specifikációi nagy tanítási feladatoknál?

Az elosztott tanítás minden lépés nagy részét a gradiens és aktiváció cseréje tölti ki. Ha a hálózat nem tud lépést tartani, a GPU-k tétlenek maradnak a szinkronizációra várva, és több GPU hozzáadása csökkenő hozamot eredményez. Egy gyors összeköttetés az, ami megőrzi a közel lineáris skálázódást a gyorsítók számának növelésekor.

Minden több-GPU-s példányon elérhető az NVLink?

Nem. Néhány több-GPU-s node csak PCIe-n keresztül köti össze a kártyákat, amely sokkal alacsonyabb GPU-GPU sávszélességet biztosít. A több GPU jelenléte nem garantálja az NVLinket, ezért az összehasonlításban egyértelműen erősítse meg az összeköttetést, ne csak a GPU-k számából feltételezze.