Poskytovatelé cloudových GPU s NVLink nebo InfiniBand

Co NVLink a InfiniBand skutečně dělají, když si pronajmete multi-GPU výpočetní výkon

NVLink a InfiniBand řeší stejný základní problém ze dvou různých stran stroje: přenášet data mezi GPU dostatečně rychle, aby akcelerátory trávily čas výpočty místo čekáním. Filtr výše zužuje seznam na cloudové instance, které nabízejí jedno nebo obě tato propojení. Nejsou zaměnitelné — jedno je intra-uzlová síť, která propojuje GPU uvnitř jednoho serveru, a druhé je inter-uzlová síť, která propojuje servery do clusteru. U jakéhokoliv pracovního zatížení přesahujícího jeden GPU je propojení často rozdílem mezi téměř lineárním škálováním a nastavením, kde přidání GPU téměř nepomáhá.

NVLink: rychlá cesta mezi GPU uvnitř jednoho boxu

NVLink je přímé propojení GPU od NVIDIA. Místo směrování provozu přes hostitelský PCIe sběrnici a CPU NVLink spojuje GPU navzájem (a na některých platformách přes NVSwitch křížový přepínač), takže každý GPU v uzlu může komunikovat s každým jiným GPU s vysokou propustností a nízkou latencí. Praktický dopad při pronájmu instance vybavené NVLinkem je:

• Výrazně vyšší propustnost mezi GPU než u uzlů pouze s PCIe, což je důležité vždy, když je třeba na každém kroku vyměňovat gradienty, aktivace nebo části modelu.
• Sdílená paměť mezi GPU v praxi — model příliš velký pro VRAM jednoho GPU lze rozdělit přes NVLink doménu, přičemž provoz mezi GPU zůstává na rychlé síti místo pomalého přenosu přes PCIe.
• Nižší režie synchronizace u kolektivních operací jako all-reduce, které dominují tréninku paralelnímu na datech.

NVLink funguje uvnitř jednoho uzlu, takže jeho rozsah je obvykle 2, 4 nebo 8 GPU v závislosti na návrhu serveru. Pokud poskytovatel v seznamu výše uvádí 8-GPU uzel „s NVLinkem“, znamená to, že těch osm karet je úzce propojeno. Samotné to však nic neříká o tom, jak je tento uzel propojen s ostatními uzly.

InfiniBand: síť, která promění mnoho serverů v jeden cluster

InfiniBand je síťová technologie používaná k propojení samostatných GPU serverů. Když tréninkové úlohy přesáhnou kapacitu jednoho uzlu, úzké hrdlo se přesune z vnitřku boxu mezi boxy a běžné ethernetové sítě mohou GPU zdržovat. InfiniBand to řeší velmi vysokou propustností na linku, nízkou a předvídatelnou latencí a RDMA (vzdálený přímý přístup do paměti), který umožňuje jednomu serveru číst nebo zapisovat paměť jiného serveru bez zapojení CPU na žádné straně. V kombinaci s GPUDirect RDMA se data mohou pohybovat z GPU na GPU napříč uzly, přičemž se do značné míry obchází kopírování do hostitelské paměti.

Pro trénink přes více uzlů je to právě to, co udržuje škálování efektivní. Důvodem, proč cluster desítek či stovek GPU může trénovat velký model v rozumném čase, je, že inter-uzlová síť drží krok s kolektivní komunikací, kterou algoritmus vyžaduje. Při použití běžné sítě může stejná úloha strávit velkou část svého času čekáním na síť.

Která pracovní zatížení to skutečně potřebují

Filtrování podle NVLink nebo InfiniBand dává smysl, když je komunikace, nejen samotný výpočet, kritickou cestou:

• Trénink a doladění velkých modelů, které rozdělují parametry, stav optimalizátoru nebo vrstvy mezi GPU (tensorové, pipeline nebo plně rozdělené datové paralelní schéma) — tyto schémata generují konstantní provoz mezi GPU a nejvíce profitují z NVLinku v rámci uzlu a InfiniBandu mezi uzly.
• Distribuovaný trénink přes více uzlů, kde úloha se prostě nevejde do jednoho serveru — zde je InfiniBand rozhodujícím faktorem pro efektivitu škálování.
• HPC a vědecké simulace s úzkou meziprocesovou komunikací, které spoléhají na InfiniBand a RDMA již léta.
• Inference s velkým kontextem nebo velkým modelem, který rozděluje jeden model mezi více GPU, kde NVLink snižuje latenci přístupu k pozornosti a váhám přes GPU.

Pro práci na jednom GPU je to skutečně zbytečné. Doladění malého modelu, dávkový inference, který se vejde na jednu kartu, většina renderovacích úloh a experimentování běží bez problémů na samostatném GPU. Platit prémiovou cenu za úzce propojený uzel nebo InfiniBand cluster nepřináší žádný užitek, pokud vaše úloha nikdy nepřekročí hranici jednoho GPU.

Co zkontrolovat před pronájmem

Tyto dva typy propojení jsou v marketingových materiálech často zaměňovány, proto si ověřte podrobnosti podle výše uvedeného srovnání:

• Rozsah — potvrďte, zda záznam znamená NVLink (propojení GPU uvnitř uzlu) nebo InfiniBand (síť mezi uzly). Instance jednoho uzlu může mít NVLink a vůbec žádný InfiniBand.
• Topologie a šířka pásma — kolik GPU sdílí NVLink doménu (plný NVSwitch all-to-all vs. částečné mosty) a rychlost InfiniBand linky a zda je povolen RDMA/GPUDirect.
• Generace — novější generace GPU mají NVLink s vyšší propustností; samotná značka „NVLink“ neříká rychlost.
• Dostupnost více uzlů — zda můžete skutečně rezervovat více propojených uzlů a zda jsou ve stejné síti, nikoliv rozptýlené po datovém centru.
• Podpora softwaru — že NCCL, MPI a váš framework síť vidí a používají; špatná konfigurace tiše přechází na pomalé cesty.

Co se týče ceny a dostupnosti, instance bohaté na propojení patří k dražším. Multi-GPU uzly vybavené NVLinkem a clustery propojené InfiniBandem používají prémiový hardware a jsou trvale žádané, takže kapacita na vyžádání je omezenější a možnosti spot nebo přerušitelné instance jsou vzácnější než u jednotlivých běžných GPU. Alokace multi-uzlového InfiniBandu jsou často řízené, rezervované nebo prodávané ve větších blocích. Ceny v tabulce výše berte jako aktuální referenci, protože se mění a liší podle poskytovatele.

Často kladené otázky

Potřebuji obojí, NVLink i InfiniBand?

Záleží na rozsahu. Multi-GPU úloha v rámci jednoho uzlu potřebuje pouze NVLink. Jakmile trénink přesahuje více serverů, chcete také InfiniBand propojující tyto uzly — oba pracují na různých úrovních, takže velký cluster obvykle spoléhá na NVLink uvnitř každého boxu a InfiniBand mezi boxy.

Poběží moje úloha na jednom GPU rychleji na instanci s NVLinkem nebo InfiniBandem?

Ne. Obě propojení jsou důležitá pouze, když se data pohybují mezi GPU nebo mezi uzly. Úloha, která se vejde na jeden GPU, se s žádnou z těchto sítí nesetká, takže byste platili prémiovou cenu za kapacitu, kterou nevyužijete. Filtrujte podle nich pouze při škálování nad jeden GPU.

Proč je propojení důležitější než specifikace jednotlivých GPU u velkých tréninkových úloh?

Distribuovaný trénink tráví velkou část každého kroku výměnou gradientů a aktivací. Pokud síť nezvládá tempo, GPU jsou nečinné, zatímco čekají na synchronizaci, a přidání dalších GPU přináší klesající výnosy. Rychlé propojení je to, co zachovává téměř lineární škálování při přidávání akcelerátorů.

Je NVLink dostupný na každé multi-GPU instanci?

Ne. Některé multi-GPU uzly propojují karty pouze přes PCIe, které má mnohem nižší propustnost mezi GPU. Přítomnost více GPU nezaručuje NVLink, proto si ověřte propojení explicitně podle výše uvedeného srovnání, místo abyste to předpokládali podle počtu GPU.