Dostawcy chmurowych GPU z NVLink lub InfiniBand

Co tak naprawdę robi NVLink i InfiniBand, gdy wynajmujesz wielo-GPU obliczenia

NVLink i InfiniBand rozwiązują ten sam podstawowy problem z dwóch różnych stron maszyny: przesyłania danych między GPU na tyle szybko, aby akceleratory spędzały czas na obliczeniach, a nie na czekaniu. Filtr powyżej zawęża listę do instancji w chmurze, które udostępniają jedno lub oba te połączenia. Nie są one zamienne — jedno to wewnątrz-węzłowa sieć łącząca GPU w jednym serwerze, a drugie to między-węzłowa sieć łącząca serwery w klaster. Dla każdego zadania rozciągającego się na więcej niż jedno GPU, połączenie często decyduje o różnicy między niemal liniową skalowalnością a konfiguracją, w której dodanie GPU prawie nie pomaga.

NVLink: szybki tor między GPU w jednej obudowie

NVLink to bezpośrednie połączenie GPU do GPU firmy NVIDIA. Zamiast kierować ruch przez magistralę PCIe hosta i CPU, NVLink łączy GPU ze sobą (a na niektórych platformach przez przełącznik NVSwitch), dzięki czemu każde GPU w węźle może komunikować się z każdym innym GPU z dużą przepustowością i niskim opóźnieniem. Praktyczny efekt, gdy wynajmujesz instancję wyposażoną w NVLink:

• Znacznie wyższa przepustowość GPU do GPU niż w węzłach tylko z PCIe, co ma znaczenie zawsze, gdy gradienty, aktywacje lub fragmenty modelu muszą być wymieniane na każdym kroku.
• Pamięć współdzielona między GPU w praktyce — model zbyt duży na VRAM jednego GPU można podzielić w domenie NVLink, a ruch między GPU pozostaje na szybkiej sieci, zamiast powoli przechodzić przez PCIe.
• Niższe koszty synchronizacji dla operacji zbiorczych, takich jak all-reduce, które dominują w treningu równoległym na danych.

NVLink działa wewnątrz pojedynczego węzła, więc jego zakres to zazwyczaj 2, 4 lub 8 GPU w zależności od konstrukcji serwera. Jeśli dostawca z powyższej listy reklamuje węzeł 8-GPU „z NVLink”, oznacza to, że te osiem kart jest ściśle powiązanych. Samo to nic nie mówi o tym, jak ten węzeł łączy się z innymi węzłami.

InfiniBand: sieć, która łączy wiele serwerów w jeden klaster

InfiniBand to technologia sieciowa używana do łączenia oddzielnych serwerów GPU. Gdy zadania treningowe przekraczają pojedynczy węzeł, wąskie gardło przesuwa się z wnętrza obudowy na połączenia między nimi, a zwykła sieć Ethernet może spowalniać GPU. InfiniBand rozwiązuje to dzięki bardzo wysokiej przepustowości na link, niskim i przewidywalnym opóźnieniom oraz RDMA (zdalny bezpośredni dostęp do pamięci), który pozwala jednemu serwerowi czytać lub zapisywać pamięć innego serwera bez angażowania CPU po żadnej ze stron. W połączeniu z GPUDirect RDMA dane mogą przemieszczać się z GPU do GPU między węzłami, omijając w dużej mierze kopiowanie w pamięci hosta.

Dla treningu wielowęzłowego to właśnie to utrzymuje skalowanie efektywne. Powodem, dla którego klaster z dziesiątkami lub setkami GPU może trenować duży model w rozsądnym czasie, jest to, że sieć międzywęzłowa nadąża za komunikacją zbiorczą wymaganą przez algorytm. Przy przejściu na standardową sieć to samo zadanie może spędzać dużą część czasu ściennego na oczekiwaniu na sieć.

Które zadania faktycznie tego potrzebują

Filtrowanie po NVLink lub InfiniBand ma sens, gdy komunikacja, a nie tylko surowa moc obliczeniowa, jest na ścieżce krytycznej:

• Trening i dopasowywanie dużych modeli, które dzielą parametry, stan optymalizatora lub warstwy między GPU (równoległość tensorowa, potokowa lub całkowicie podzielona) — te schematy generują stały ruch między GPU i najbardziej korzystają z NVLink w węźle oraz InfiniBand między węzłami.
• Rozproszony trening wielowęzłowy, gdy zadanie po prostu nie mieści się w jednym serwerze — tutaj InfiniBand jest decydującym czynnikiem efektywności skalowania.
• HPC i symulacje naukowe z intensywną komunikacją międzyprocesową, które od lat korzystają z InfiniBand i RDMA.
• Wnioskowanie z dużym kontekstem lub dużym modelem, które dzieli pojedynczy model na wiele GPU, gdzie NVLink zmniejsza karę opóźnienia przy dostępie do uwagi i wag między GPU.

To naprawdę przesada dla pracy na pojedynczym GPU. Dopasowywanie małego modelu, wykonywanie wsadowego wnioskowania mieszczącego się na jednej karcie, większość zadań renderowania i eksperymenty działają dobrze na samodzielnym GPU. Płacenie premii za ściśle połączony węzeł lub klaster InfiniBand nie przynosi korzyści, jeśli Twoje zadanie nigdy nie przekracza granicy GPU.

Co sprawdzić przed wynajmem

Te dwa połączenia są często mylone w materiałach marketingowych, więc zweryfikuj szczegóły względem powyższego porównania:

• Zakres — potwierdź, czy oferta oznacza NVLink (łączenie GPU w węźle) czy InfiniBand (sieć między węzłami). Instancja jednowęzłowa może mieć NVLink i nie mieć wcale InfiniBand.
• Topologia i szerokość — ile GPU dzieli domenę NVLink (pełny NVSwitch all-to-all vs. częściowe mosty), oraz prędkość łącza InfiniBand i czy RDMA/GPUDirect jest włączone.
• Generacja — nowsze generacje GPU mają NVLink o wyższej przepustowości; sama etykieta „NVLink” nie mówi o prędkości.
• Dostępność wielowęzłowa — czy faktycznie można zarezerwować wiele połączonych węzłów i czy trafiają one do tej samej sieci, a nie są rozproszone po centrum danych.
• Wsparcie oprogramowania — czy NCCL, MPI i Twój framework widzą i używają sieci; błędna konfiguracja cicho przechodzi na wolniejsze ścieżki.

Pod względem kosztów i dostępności instancje z bogatym połączeniem plasują się w wyższym segmencie. Węzły wielo-GPU z NVLink i klastry połączone InfiniBand używają sprzętu premium i są stale poszukiwane, więc dostępność na żądanie jest ograniczona, a opcje spot lub przerywalne rzadsze niż dla pojedynczych GPU. Szczególnie alokacje wielowęzłowe z InfiniBand są często ograniczone, rezerwowane lub sprzedawane w większych blokach. Traktuj ceny w powyższej tabeli jako aktualne odniesienie, ponieważ stawki się zmieniają i różnią w zależności od dostawcy.

Najczęściej zadawane pytania

Czy potrzebuję obu: NVLink i InfiniBand?

To zależy od skali. Zadanie wielo-GPU w jednym węźle potrzebuje tylko NVLink. W momencie, gdy trening rozciąga się na wiele serwerów, potrzebujesz także InfiniBand łączącego te węzły — działają one na różnych warstwach, więc duży klaster zwykle opiera się na NVLink wewnątrz każdej obudowy i InfiniBand między obudowami.

Czy moje zadanie na pojedynczym GPU będzie działać szybciej na instancji z NVLink lub InfiniBand?

Nie. Oba połączenia mają znaczenie tylko wtedy, gdy dane przemieszczają się między GPU lub między węzłami. Zadanie mieszczące się na jednym GPU nigdy nie korzysta z żadnej z tych sieci, więc zapłacisz premię za zasoby, których nie wykorzystasz. Filtruj je tylko wtedy, gdy skalujesz się poza jeden GPU.

Dlaczego połączenie ma większe znaczenie niż specyfikacje pojedynczego GPU dla dużych zadań treningowych?

Trening rozproszony spędza dużą część każdego kroku na wymianie gradientów i aktywacji. Jeśli sieć nie nadąża, GPU stoją bezczynnie, czekając na synchronizację, a dodanie kolejnych GPU przynosi coraz mniejsze korzyści. Szybkie połączenie to to, co zachowuje niemal liniową skalowalność wraz z dodawaniem akceleratorów.

Czy NVLink jest dostępny w każdej instancji wielo-GPU?

Nie. Niektóre węzły wielo-GPU łączą karty tylko przez PCIe, które ma znacznie niższą przepustowość GPU do GPU. Obecność wielu GPU nie gwarantuje NVLink, więc potwierdź połączenie wyraźnie w powyższym porównaniu, zamiast zakładać je na podstawie liczby GPU.