Poskytovatelé cloudových GPU s NVLink nebo InfiniBand

Co vlastně NVLink a InfiniBand dělají, když si pronajmete výpočetní výkon s více GPU

NVLink a InfiniBand řeší stejný základní problém ze dvou různých stran stroje: přenášet data mezi GPU dostatečně rychle, aby akcelerátory trávily čas výpočty místo čekáním. Filtr výše zužuje seznam na cloudové instance, které nabízejí jedno nebo obě tato propojení. Nejsou zaměnitelné — jedno je intra-node propojení, které spojuje GPU uvnitř jednoho serveru, a druhé je inter-node propojení, které spojuje servery do clusteru. U jakéhokoliv úkolu, který přesahuje více než jedno GPU, je propojení často rozdílem mezi téměř lineárním škálováním a nastavením, kde přidání GPU téměř nepomáhá.

NVLink: rychlá cesta mezi GPU uvnitř jednoho boxu

NVLink je přímé propojení GPU na GPU od NVIDIA. Místo směrování provozu přes hostitelský PCIe sběrnici a CPU NVLink spojuje GPU navzájem (a na některých platformách přes NVSwitch křížový přepínač), takže každé GPU v uzlu může komunikovat s každým jiným GPU s vysokou propustností a nízkou latencí. Praktický dopad při pronájmu instance vybavené NVLinkem je:

• Výrazně vyšší propustnost mezi GPU než u uzlů pouze s PCIe, což je důležité vždy, když je třeba vyměňovat gradienty, aktivace nebo části modelu při každém kroku.
• Sdílená paměť mezi GPU v praxi — model příliš velký pro VRAM jednoho GPU lze rozdělit přes NVLink doménu, přičemž komunikace mezi GPU zůstává na rychlé síti místo pomalého přenosu přes PCIe.
• Nižší režie synchronizace u kolektivních operací jako all-reduce, které dominují při datově paralelním tréninku.

NVLink funguje uvnitř jednoho uzlu, takže jeho rozsah je obvykle 2, 4 nebo 8 GPU podle konstrukce serveru. Pokud poskytovatel v seznamu výše inzeruje 8-GPU uzel „s NVLinkem“, znamená to, že těchto osm karet je pevně propojeno. Samotné to ale nic neříká o tom, jak je tento uzel propojen s ostatními uzly.

InfiniBand: síť, která spojuje mnoho serverů do jednoho clusteru

InfiniBand je síťová technologie používaná k propojení samostatných GPU serverů. Když tréninkové úlohy přesáhnou kapacitu jednoho uzlu, úzké hrdlo se přesune z vnitřku boxu na spojení mezi boxy a běžné ethernetové sítě mohou GPU brzdit. InfiniBand to řeší velmi vysokou propustností na linku, nízkou a předvídatelnou latencí a RDMA (vzdálený přímý přístup do paměti), který umožňuje jednomu serveru číst nebo zapisovat paměť jiného serveru bez zapojení CPU na žádné straně. Ve spojení s GPUDirect RDMA může data přenášet přímo GPU na GPU přes uzly a většinou obcházet kopírování do hostitelské paměti.

Pro víceuzlový trénink je to právě to, co udržuje škálování efektivní. Důvod, proč cluster desítek či stovek GPU dokáže natrénovat velký model v rozumném čase, je ten, že mezisezónní síť drží krok s kolektivní komunikací, kterou algoritmus vyžaduje. Při použití běžné sítě může stejný úkol strávit velkou část času čekáním na síť.

Které úlohy to skutečně potřebují

Filtrování podle NVLink nebo InfiniBand dává smysl, když je komunikace, nikoli jen samotný výpočet, na kritické cestě:

• Trénink a doladění velkých modelů, které rozdělují parametry, stav optimalizátoru nebo vrstvy mezi GPU (tensorové, pipeline nebo plně rozdělené datově paralelní schéma) — tyto schémata generují konstantní komunikaci mezi GPU a nejvíce profitují z NVLinku uvnitř uzlu a InfiniBandu mezi uzly.
• Víceuzlový distribuovaný trénink, kde úloha se prostě nevejde do jednoho serveru — zde je InfiniBand rozhodujícím faktorem pro efektivitu škálování.
• HPC a vědecké simulace s intenzivní meziprocesovou komunikací, které po léta spoléhají na InfiniBand a RDMA.
• Inference s velkým kontextem nebo velkým modelem, který rozděluje jeden model přes více GPU, kde NVLink snižuje latenci při přístupu k pozornosti a vahám napříč GPU.

Pro práci na jednom GPU je to skutečně zbytečné. Doladění malého modelu, dávkové inferování, které se vejde na jednu kartu, většina renderingových úloh a experimentování běží bez problémů na samostatném GPU. Platit prémii za pevně propojený uzel nebo InfiniBand cluster nepřináší žádný užitek, pokud vaše úloha nikdy nepřekročí hranici jednoho GPU.

Co zkontrolovat před pronájmem

Obě propojení jsou často v marketingových textech zaměňována, proto si ověřte detaily podle výše uvedeného srovnání:

• Rozsah — potvrďte, zda inzerát znamená NVLink (propojení GPU uvnitř uzlu) nebo InfiniBand (síť mezi uzly). Instance jednoho uzlu může mít NVLink a vůbec žádný InfiniBand.
• Topologie a šířka pásma — kolik GPU sdílí NVLink doménu (plný NVSwitch all-to-all vs. částečné můstky) a rychlost InfiniBand linky a zda je povolen RDMA/GPUDirect.
• Generace — novější generace GPU mají NVLink s vyšší propustností; označení „NVLink“ samo o sobě neříká rychlost.
• Dostupnost více uzlů — zda můžete skutečně rezervovat více propojených uzlů a zda jsou v rámci stejné sítě, nikoli rozptýlené po datovém centru.
• Podpora softwaru — že NCCL, MPI a váš framework vidí a používají síť; špatná konfigurace tiše přejde na pomalejší cesty.

Co se týče ceny a dostupnosti, instance bohaté na propojení patří k dražším. Multi-GPU uzly s NVLinkem a clustery propojené InfiniBandem používají prémiový hardware a jsou trvale žádané, takže kapacita na vyžádání je omezenější a možnosti spot nebo přerušitelné instance jsou vzácnější než u samostatných běžných GPU. Alokace multi-uzlového InfiniBandu jsou často řízené, rezervované nebo prodávané ve větších blocích. Ceny v tabulce výše berte jako aktuální referenci, protože sazby se mění a liší podle poskytovatele.

Často kladené otázky

Potřebuji obě NVLink i InfiniBand?

Záleží na rozsahu. Úloha s více GPU v jednom uzlu potřebuje jen NVLink. Jakmile trénink přesáhne více serverů, chcete také InfiniBand propojující tyto uzly — obě pracují na různých úrovních, takže velký cluster obvykle spoléhá na NVLink uvnitř každého boxu a InfiniBand mezi boxy.

Poběží moje úloha na jednom GPU rychleji na instanci s NVLinkem nebo InfiniBandem?

Ne. Obě propojení jsou důležitá pouze, když se data přesouvají mezi GPU nebo mezi uzly. Úloha, která se vejde na jedno GPU, se s žádnou z těchto sítí nesetká, takže byste platili prémii za kapacitu, kterou nevyužijete. Filtrujte podle nich jen tehdy, když škálujete přes jedno GPU.

Proč je propojení důležitější než parametry jednotlivých GPU u velkých tréninkových úloh?

Distribuovaný trénink tráví velkou část každého kroku výměnou gradientů a aktivací. Pokud síť nestíhá, GPU čekají na synchronizaci a přidání dalších GPU přináší klesající výnosy. Rychlé propojení je to, co zachovává téměř lineární škálování při přidávání akcelerátorů.

Je NVLink dostupný na každé multi-GPU instanci?

Ne. Některé multi-GPU uzly propojují karty pouze přes PCIe, které má mnohem nižší propustnost mezi GPU. Přítomnost více GPU nezaručuje NVLink, proto si propojení ověřte explicitně podle výše uvedeného srovnání, ne jen podle počtu GPU.