Felhőalapú GPU-szolgáltatók NVLink vagy InfiniBand kapcsolattal

Mit is tesz valójában az NVLink és az InfiniBand, amikor több GPU-s számítást bérel

Az NVLink és az InfiniBand ugyanazt az alapvető problémát oldja meg a gép két különböző oldaláról: az adatokat elég gyorsan mozgatni a GPU-k között ahhoz, hogy a gyorsítók számításra fordítsák az idejüket a várakozás helyett. A fenti szűrő leszűkíti a listát olyan felhőpéldányokra, amelyek egy vagy mindkét ilyen összeköttetést biztosítják. Ezek nem helyettesíthetők egymással — az egyik egy csomóponton belüli hálózat, amely egyetlen szerveren belül köti össze a GPU-kat, a másik pedig egy csomópontok közötti hálózat, amely szervereket kapcsol össze egy klaszterbe. Bármilyen munkaterhelés esetén, amely több GPU-t érint, az összeköttetés gyakran a közel lineáris skálázódás és egy olyan beállítás között tesz különbséget, ahol az új GPU-k hozzáadása alig segít.

NVLink: a gyors sáv a GPU-k között egy dobozon belül

Az NVLink az NVIDIA közvetlen GPU-GPU összeköttetése. Ahelyett, hogy a forgalmat a host PCIe buszon és a CPU-n keresztül irányítaná, az NVLink összeköti a GPU-kat egymással (és bizonyos platformokon NVSwitch keresztkapcsolón keresztül), így a csomópont minden GPU-ja nagy sávszélességgel és alacsony késleltetéssel tud kommunikálni minden más GPU-val. A gyakorlatban, amikor NVLink-kel felszerelt példányt bérel, az alábbi előnyöket kapja:

• Sokkal nagyobb GPU-GPU sávszélesség, mint a kizárólag PCIe-s csomópontok esetén, ami fontos, amikor gradiens, aktiváció vagy modellrészek cseréje szükséges minden lépésben.
• GPU-k közötti közös memória a gyakorlatban — egy olyan modell, amely túl nagy egyetlen GPU VRAM-jához, az NVLink tartományon belül megosztható, így a GPU-k közötti forgalom a gyors hálózaton marad, nem pedig a PCIe-n keresztül halad lassan.
• Alacsonyabb szinkronizációs költség kollektív műveletek esetén, mint az all-reduce, amelyek dominálják az adatpárhuzamos tanítást.

Az NVLink egyetlen csomóponton belül működik, így tipikusan 2, 4 vagy 8 GPU-ra terjed ki a szerver kialakításától függően. Ha a fenti listán egy szolgáltató “NVLink-kel ellátott” 8-GPU-s csomópontot hirdet, az azt jelenti, hogy a nyolc kártya szorosan összekapcsolt. Ez önmagában nem mond semmit arról, hogyan kapcsolódik ez a csomópont más csomópontokhoz.

InfiniBand: a hálózat, amely sok szervert egy klaszterré alakít

Az InfiniBand egy hálózati technológia, amely különálló GPU-szervereket köt össze. Amikor a tanítási feladatok kinövik az egy csomópontos kereteket, a szűk keresztmetszet a dobozon belülről a dobozok közé kerül, és a hagyományos Ethernet hálózat akadályozhatja a GPU-kat. Az InfiniBand ezt nagyon nagy linksebességgel, alacsony és kiszámítható késleltetéssel, valamint RDMA (távoli közvetlen memóriahozzáférés) segítségével oldja meg, amely lehetővé teszi, hogy egy szerver a másik szerver memóriáját CPU bevonása nélkül olvassa vagy írja. A GPUDirect RDMA-val párosítva az adatok GPU-ról GPU-ra mozoghatnak csomópontok között, miközben nagyrészt megkerülik a host memória másolásokat.

Több csomópontos tanítás esetén ez tartja hatékonynak a skálázódást. Az oka annak, hogy egy tucat vagy akár száz GPU-ból álló klaszter ésszerű idő alatt képes nagy modellt tanítani, az, hogy a csomópontok közötti hálózat lépést tart az algoritmus által megkövetelt kollektív kommunikációval. Ha lejjebb adja egy kereskedelmi hálózatra, ugyanaz a feladat a rendelkezésre álló idő nagy részét a hálózatra várakozással töltheti.

Milyen munkaterheléseknek van erre ténylegesen szükségük

Az NVLink vagy InfiniBand szerinti szűrés akkor érdemes, ha a kommunikáció, nem csak a nyers számítás, kritikus útvonalon van:

• Nagy modellek tanítása és finomhangolása, amelyek paramétereket, optimalizáló állapotot vagy rétegeket osztanak meg GPU-k között (tensorszerű, csővezetékes vagy teljesen megosztott adatpárhuzamosság) — ezek a sémák állandó GPU-közti forgalmat generálnak, és leginkább az NVLink előnyeit élvezik csomóponton belül, valamint az InfiniBandét csomópontok között.
• Több csomópontos elosztott tanítás, ahol a feladat egyszerűen nem fér el egy szerveren — itt az InfiniBand a döntő tényező a skálázódás hatékonyságában.
• Nagy teljesítményű számítástechnika (HPC) és tudományos szimuláció, amelyek szoros folyamatközi kommunikációt igényelnek, és évek óta az InfiniBandra és RDMA-ra támaszkodnak.
• Nagy kontextusú vagy nagy modellű inferencia, amely egyetlen modellt több GPU között oszt meg, ahol az NVLink csökkenti a GPU-k közötti figyelem és súlyhozzáférés késleltetési büntetését.

Egyetlen GPU-s munkához valóban túlzás. Egy kis modell finomhangolása, egyetlen kártyán elférő kötegelt inferencia futtatása, a legtöbb renderelési feladat és kísérletezés gond nélkül fut egy önálló GPU-n. Egy szorosan összekapcsolt csomópont vagy InfiniBand klaszter prémiumáért fizetni nem hoz előnyt, ha a feladat soha nem lépi át a GPU határát.

Mit ellenőrizzen, mielőtt bérel

A két összeköttetést gyakran összekeverik a marketing szövegekben, ezért ellenőrizze a részleteket a fenti összehasonlítás alapján:

• Hatókör — erősítse meg, hogy a lista NVLinket (csomóponton belüli GPU-kapcsolatot) vagy InfiniBandet (csomópontok közötti hálózatot) jelent-e. Egyetlen csomópontos példány lehet NVLinkkel, de InfiniBand nélkül is.
• Topológia és szélesség — hány GPU osztozik az NVLink tartományon (teljes NVSwitch minden-összeköttetés vagy részleges hidak), valamint az InfiniBand linksebessége és hogy engedélyezett-e az RDMA/GPUDirect.
• Generáció — az újabb GPU-generációk nagyobb sávszélességű NVLinket hordoznak; egy “NVLink” címke önmagában nem árulja el a sebességet.
• Több csomópontos elérhetőség — hogy valóban foglalhat-e több összekapcsolt csomópontot, és hogy azok ugyanabban a hálózatban vannak-e, nem pedig szétszórva az adatközpontban.
• Szoftvertámogatás — hogy az NCCL, MPI és az Ön keretrendszere látja és használja-e a hálózatot; a hibás konfiguráció csendben lassabb útvonalra esik vissza.

Az ár és elérhetőség tekintetében az összeköttetésben gazdag példányok a spektrum magasabb végén helyezkednek el. NVLinkkel felszerelt több GPU-s csomópontok és InfiniBand kapcsolt klaszterek prémium hardvert használnak és folyamatos a kereslet irántuk, így az azonnali kapacitás szűkösebb, és a spot vagy megszakítható opciók ritkábbak, mint az egyetlen kereskedelmi GPU esetén. Különösen a több csomópontos InfiniBand foglalások gyakran korlátozottak, előre lefoglaltak vagy nagyobb blokkokban értékesítettek. A fenti táblázat árait tekintse élő referenciaértéknek, mivel az árak változnak és szolgáltatónként eltérnek.

Gyakran ismételt kérdések

Szükségem van mind az NVLinkre, mind az InfiniBandre?

A skálától függ. Egyetlen csomópontos több GPU-s feladat csak NVLinket igényel. Amint a tanítás több szerverre terjed ki, szüksége lesz az InfiniBandre is, amely összeköti ezeket a csomópontokat — a kettő különböző rétegeken működik, így egy nagy klaszter általában NVLinkre támaszkodik minden dobozon belül és InfiniBandre a dobozok között.

Gyorsabban fut-e az egy GPU-s munkám NVLink vagy InfiniBand példányon?

Nem. Mindkét összeköttetés csak akkor számít, ha adat mozog GPU-k vagy csomópontok között. Egy olyan munkaterhelés, amely elfér egyetlen GPU-n, soha nem érinti egyik hálózatot sem, így prémiumot fizetne olyan kapacitásért, amelyet nem tud használni. Csak akkor szűrje ezeket, ha egy GPU-nál nagyobb skálázódásra készül.

Miért számít jobban az összeköttetés, mint az egy GPU-ra jutó specifikációk nagy tanítási feladatoknál?

Az elosztott tanítás minden lépésének nagy részét a gradiens és aktiváció cseréje teszi ki. Ha a hálózat nem tud lépést tartani, a GPU-k tétlenek maradnak, amíg várnak a szinkronizációra, és az új GPU-k hozzáadása csökkenő hozamot eredményez. Egy gyors összeköttetés az, ami megőrzi a közel lineáris skálázódást, ahogy új gyorsítókat ad hozzá.

Minden több GPU-s példányon elérhető az NVLink?

Nem. Néhány több GPU-s csomópont csak PCIe-n keresztül köti össze a kártyákat, amely sokkal alacsonyabb GPU-GPU sávszélességet biztosít. A több GPU jelenléte nem garantálja az NVLinket, ezért az összeköttetést mindig külön ellenőrizze a fenti összehasonlítás alapján, ne csak a GPU-k számából induljon ki.