Poskytovatelé cloudových GPU s NVLink nebo InfiniBand

Co vlastně NVLink a InfiniBand dělají, když si pronajmete výpočet s více GPU

NVLink a InfiniBand řeší stejný základní problém ze dvou různých stran stroje: přenos dat mezi GPU dostatečně rychle, aby akcelerátory trávily čas výpočty místo čekáním. Filtr výše zužuje seznam na cloudové instance, které poskytují jeden nebo oba tyto propoje. Není možné je zaměňovat — jeden je intra-node propojení, které spojuje GPU uvnitř jednoho serveru, a druhý je inter-node propojení, které spojuje servery do clusteru. U jakéhokoliv úkolu, který přesahuje více než jedno GPU, je propojení často rozdílem mezi téměř lineárním škálováním a nastavením, kde přidání GPU téměř nepomáhá.

NVLink: rychlá cesta mezi GPU uvnitř jednoho serveru

NVLink je přímé propojení GPU od NVIDIA. Místo směrování provozu přes hostitelský PCIe sběrnici a CPU NVLink spojuje GPU přímo mezi sebou (a na některých platformách přes NVSwitch křížový přepínač), takže každé GPU v uzlu může komunikovat s každým jiným GPU vysokou propustností a nízkou latencí. Praktický dopad při pronájmu instance vybavené NVLinkem je:

• Výrazně vyšší propustnost mezi GPU než u uzlů pouze s PCIe, což je důležité vždy, když je potřeba vyměňovat gradienty, aktivace nebo části modelu při každém kroku.
• Sdílená paměť mezi GPU v praxi — model příliš velký pro VRAM jednoho GPU lze rozdělit přes doménu NVLink, přičemž provoz mezi GPU zůstává na rychlé síti místo pomalého přenosu přes PCIe.
• Nižší režie synchronizace u kolektivních operací jako all-reduce, které dominují při datově paralelním tréninku.

NVLink funguje uvnitř jednoho uzlu, takže jeho rozsah je typicky 2, 4 nebo 8 GPU v závislosti na designu serveru. Pokud poskytovatel v seznamu výše uvádí 8-GPU uzel „s NVLinkem“, znamená to, že těch osm karet je úzce propojeno. Samotné to však nic neříká o tom, jak je tento uzel propojen s ostatními uzly.

InfiniBand: síť, která spojuje mnoho serverů do jednoho clusteru

InfiniBand je síťová technologie používaná k propojení samostatných GPU serverů. Když tréninkové úlohy přesáhnou kapacitu jednoho uzlu, úzké hrdlo se přesune z vnitřku serveru na propojení mezi servery, a běžná ethernetová síť může GPU brzdit. InfiniBand to řeší velmi vysokou propustností na linku, nízkou a předvídatelnou latencí a RDMA (remote direct memory access), což umožňuje jednomu serveru číst nebo zapisovat paměť jiného serveru bez zapojení CPU na žádné straně. V kombinaci s GPUDirect RDMA se data mohou pohybovat z GPU na GPU přes uzly, přičemž se z velké části vyhýbají kopírování do hostitelské paměti.

Pro trénink přes více uzlů je to právě to, co udržuje škálování efektivní. Důvod, proč cluster například desítek nebo stovek GPU dokáže natrénovat velký model v rozumném čase, je ten, že inter-node síť drží krok s kolektivní komunikací, kterou algoritmus vyžaduje. Pokud použijete běžnou síť, stejná úloha může strávit velkou část času čekáním na síť.

Které úlohy to skutečně potřebují

Filtrování podle NVLink nebo InfiniBand dává smysl, pokud je komunikace, nejen čistý výpočet, kritickou cestou:

• Trénink a doladění velkých modelů, které rozdělují parametry, stav optimalizátoru nebo vrstvy mezi GPU (tensorové, pipeline nebo plně rozdělené datově paralelní schéma) — tyto režimy generují konstantní provoz mezi GPU a nejvíce profitují z NVLinku uvnitř uzlu a InfiniBandu mezi uzly.
• Distribuovaný trénink přes více uzlů, kdy úloha se prostě nevejde do jednoho serveru — zde je InfiniBand rozhodujícím faktorem pro efektivitu škálování.
• Vědecké výpočty a simulace s těsnou meziprocesovou komunikací, které spoléhají na InfiniBand a RDMA již řadu let.
• Inference s velkým kontextem nebo velkým modelem, který rozděluje jeden model přes více GPU, kde NVLink snižuje latenci přístupu k pozornosti a vahám přes GPU.

Pro práci na jednom GPU je to skutečně zbytečné. Doladění malého modelu, dávkové inferování, které se vejde na jednu kartu, většina renderingových úloh a experimentování běží dobře i na samostatném GPU. Platit prémii za úzce propojený uzel nebo InfiniBand cluster nepřináší žádný přínos, pokud vaše úloha nikdy nepřesahuje hranici jednoho GPU.

Co zkontrolovat před pronájmem

Tyto dva propoje jsou často v marketingových textech zaměňovány, proto si ověřte detaily podle výše uvedeného srovnání:

• Rozsah — potvrďte, zda zápis znamená NVLink (propojení GPU uvnitř uzlu) nebo InfiniBand (síť mezi uzly). Instance jednoho uzlu může mít NVLink a vůbec žádný InfiniBand.
• Topologie a šířka pásma — kolik GPU sdílí doménu NVLink (plný NVSwitch all-to-all vs. částečné mosty) a rychlost InfiniBand linky a zda je povolen RDMA/GPUDirect.
• Generace — novější generace GPU mají NVLink s vyšší propustností; označení „NVLink“ samo o sobě neříká rychlost.
• Dostupnost více uzlů — zda je možné skutečně rezervovat více propojených uzlů a zda jsou v rámci stejné sítě, nikoliv rozptýlené po datacentru.
• Podpora softwaru — že NCCL, MPI a váš framework vidí a využívají síť; špatná konfigurace tiše přechází na pomalé cesty.

Co se týče ceny a dostupnosti, instance bohaté na propojení patří k dražším. Multi-GPU uzly vybavené NVLinkem a clustery propojené InfiniBandem používají prémiový hardware a jsou trvale žádané, takže kapacita na vyžádání je omezenější a možnosti spot nebo přerušitelné instance jsou vzácnější než u jednoho běžného GPU. Alokace InfiniBand přes více uzlů jsou často řízené, rezervované nebo prodávané ve větších blocích. Ceny v tabulce výše berte jako aktuální referenci, protože se mění a liší podle poskytovatele.

Často kladené otázky

Potřebuji obojí, NVLink i InfiniBand?

Záleží na rozsahu. Úloha na více GPU v jednom uzlu potřebuje pouze NVLink. Jakmile trénink přesahuje více serverů, chcete také InfiniBand pro propojení těchto uzlů — oba pracují na různých vrstvách, takže velký cluster obvykle spoléhá na NVLink uvnitř každého serveru a InfiniBand mezi servery.

Poběží moje úloha na jednom GPU rychleji na instanci s NVLinkem nebo InfiniBandem?

Ne. Oba propoje jsou důležité pouze tehdy, když se data přesouvají mezi GPU nebo mezi uzly. Úloha, která se vejde na jedno GPU, se s žádným z těchto propojení nesetká, takže byste platili prémii za kapacitu, kterou nemůžete využít. Filtrujte podle nich pouze tehdy, když škálujete nad jedno GPU.

Proč je propojení důležitější než specifikace jednotlivých GPU u velkých tréninkových úloh?

Distribuovaný trénink tráví velkou část každého kroku výměnou gradientů a aktivací. Pokud síť nestíhá, GPU čekají na synchronizaci a přidání dalších GPU přináší klesající výnosy. Rychlé propojení je to, co zachovává téměř lineární škálování při přidávání akcelerátorů.

Je NVLink dostupný na každé multi-GPU instanci?

Ne. Některé multi-GPU uzly propojují karty pouze přes PCIe, které má mnohem nižší propustnost mezi GPU. Přítomnost více GPU nezaručuje NVLink, proto si explicitně ověřte propojení v porovnání výše, místo abyste to předpokládali podle počtu GPU.