Dostawcy chmurowych GPU z NVLink lub InfiniBand

Co tak naprawdę robi NVLink i InfiniBand, gdy wynajmujesz wielo-GPU obliczenia

NVLink i InfiniBand rozwiązują ten sam podstawowy problem z dwóch różnych stron maszyny: przesyłanie danych między GPU na tyle szybko, aby akceleratory spędzały czas na obliczeniach, a nie na oczekiwaniu. Filtr powyżej zawęża listę do instancji w chmurze, które udostępniają jedno lub oba te połączenia. Nie są one zamienne — jedno to wewnątrz-węzłowa sieć łącząca GPU w jednym serwerze, a drugie to między-węzłowa sieć łącząca serwery w klaster. Dla każdego zadania rozciągającego się na więcej niż jedno GPU, połączenie często decyduje o różnicy między niemal liniową skalowalnością a konfiguracją, w której dodanie GPU prawie nie pomaga.

NVLink: szybki pas między GPU w jednej obudowie

NVLink to bezpośrednie połączenie GPU do GPU firmy NVIDIA. Zamiast kierować ruch przez magistralę PCIe hosta i CPU, NVLink łączy GPU ze sobą (a na niektórych platformach przez przełącznik NVSwitch), dzięki czemu każde GPU w węźle może komunikować się z każdym innym GPU z dużą przepustowością i niskimi opóźnieniami. Praktyczny efekt, gdy wynajmujesz instancję wyposażoną w NVLink:

• Znacznie wyższa przepustowość GPU do GPU niż w węzłach opartych wyłącznie na PCIe, co ma znaczenie, gdy gradienty, aktywacje lub fragmenty modelu muszą być wymieniane na każdym kroku.
• Pamięć współdzielona między GPU w praktyce — model zbyt duży dla VRAM jednego GPU można podzielić w domenie NVLink, a ruch między GPU pozostaje na szybkim łączu zamiast powoli przechodzić przez PCIe.
• Niższe koszty synchronizacji dla operacji zbiorczych, takich jak all-reduce, które dominują w treningu równoległym na danych.

NVLink działa wewnątrz jednego węzła, więc jego zakres to zwykle 2, 4 lub 8 GPU w zależności od konstrukcji serwera. Jeśli dostawca z powyższej listy reklamuje węzeł 8-GPU “z NVLink,” oznacza to, że te osiem kart jest ściśle powiązanych. Samo to nic nie mówi o tym, jak ten węzeł łączy się z innymi węzłami.

InfiniBand: sieć, która łączy wiele serwerów w jeden klaster

InfiniBand to technologia sieciowa używana do łączenia oddzielnych serwerów GPU. Gdy zadania treningowe przekraczają pojedynczy węzeł, wąskie gardło przesuwa się z wnętrza obudowy na połączenia między obudowami, a zwykła sieć Ethernet może powodować zatory GPU. InfiniBand rozwiązuje to dzięki bardzo wysokiej przepustowości na łącze, niskim i przewidywalnym opóźnieniom oraz RDMA (zdalny bezpośredni dostęp do pamięci), który pozwala jednemu serwerowi czytać lub zapisywać pamięć innego serwera bez udziału CPU po żadnej ze stron. W połączeniu z GPUDirect RDMA dane mogą przemieszczać się z GPU do GPU między węzłami, omijając w dużej mierze kopiowanie w pamięci hosta.

Dla treningu wielowęzłowego to właśnie utrzymuje skalowanie efektywne. Powodem, dla którego klaster z dziesiątkami lub setkami GPU może trenować duży model w rozsądnym czasie, jest to, że sieć między-węzłowa nadąża za komunikacją zbiorczą wymaganą przez algorytm. Przejście na sieć towarową powoduje, że to samo zadanie spędza dużą część czasu rzeczywistego na oczekiwaniu na sieć.

Które zadania faktycznie tego potrzebują

Filtrowanie po NVLink lub InfiniBand ma sens, gdy komunikacja, a nie tylko surowa moc obliczeniowa, jest na ścieżce krytycznej:

• Trening i dostrajanie dużych modeli, które dzielą parametry, stan optymalizatora lub warstwy między GPU (równoległość tensorowa, potokowa lub całkowicie podzielona) — te schematy generują stały ruch między GPU i najbardziej korzystają z NVLink w węźle oraz InfiniBand między węzłami.
• Trening rozproszony wielowęzłowy, gdy zadanie po prostu nie mieści się w jednym serwerze — tutaj InfiniBand jest decydującym czynnikiem efektywności skalowania.
• HPC i symulacje naukowe z intensywną komunikacją międzyprocesową, które od lat opierają się na InfiniBand i RDMA.
• Wnioskowanie na dużych kontekstach lub dużych modelach, które dzielą pojedynczy model na wiele GPU, gdzie NVLink zmniejsza karę opóźnienia przy dostępie do uwagi i wag między GPU.

To naprawdę przesada dla pracy na pojedynczym GPU. Dostosowywanie małego modelu, uruchamianie wsadowego wnioskowania mieszczącego się na jednej karcie, większość zadań renderowania i eksperymenty działają dobrze na samodzielnym GPU. Płacenie premii za ściśle połączony węzeł lub klaster InfiniBand nie przynosi korzyści, jeśli Twoje zadanie nigdy nie przekracza granicy GPU.

Co sprawdzić przed wynajmem

Te dwa połączenia są często mylone w materiałach marketingowych, więc zweryfikuj szczegóły względem powyższego porównania:

• Zakres — potwierdź, czy oferta oznacza NVLink (łączenie GPU w węźle) czy InfiniBand (sieć między węzłami). Instancja jedno-węzłowa może mieć NVLink i nie mieć wcale InfiniBand.
• Topologia i szerokość — ile GPU dzieli domenę NVLink (pełny NVSwitch all-to-all vs. częściowe mosty), oraz prędkość łącza InfiniBand i czy RDMA/GPUDirect jest włączone.
• Generacja — nowsze generacje GPU mają NVLink o wyższej przepustowości; sama etykieta “NVLink” nie mówi o prędkości.
• Dostępność wielowęzłowa — czy faktycznie możesz zarezerwować wiele połączonych węzłów i czy znajdują się one w tej samej sieci, a nie rozproszone po centrum danych.
• Wsparcie oprogramowania — czy NCCL, MPI i Twój framework widzą i używają tej sieci; błędna konfiguracja cicho przełącza się na wolniejsze ścieżki.

Pod względem kosztów i dostępności instancje bogate w połączenia plasują się na wyższym końcu spektrum. Węzły wielo-GPU z NVLink i klastry połączone InfiniBand korzystają ze sprzętu premium i są stale poszukiwane, więc dostępność na żądanie jest ograniczona, a opcje spot lub przerywalne są rzadsze niż dla pojedynczych GPU towarowych. Szczególnie przydziały wielowęzłowe InfiniBand są często kontrolowane, rezerwowane lub sprzedawane w większych blokach. Traktuj ceny w powyższej tabeli jako aktualne odniesienie, ponieważ stawki się zmieniają i różnią w zależności od dostawcy.

Najczęściej zadawane pytania

Czy potrzebuję zarówno NVLink, jak i InfiniBand?

To zależy od skali. Zadanie wielo-GPU w jednym węźle potrzebuje tylko NVLink. W momencie, gdy trening obejmuje wiele serwerów, chcesz też InfiniBand łączący te węzły — oba działają na różnych warstwach, więc duży klaster zwykle korzysta z NVLink wewnątrz każdej obudowy i InfiniBand między obudowami.

Czy moje zadanie na pojedynczym GPU będzie działać szybciej na instancji z NVLink lub InfiniBand?

Nie. Oba połączenia mają znaczenie tylko wtedy, gdy dane przemieszczają się między GPU lub między węzłami. Zadanie mieszczące się na jednym GPU nigdy nie korzysta z żadnej z tych sieci, więc zapłacisz premię za zasoby, których nie użyjesz. Filtruj je tylko wtedy, gdy skalujesz się poza jedno GPU.

Dlaczego połączenie ma większe znaczenie niż specyfikacje pojedynczego GPU dla dużych zadań treningowych?

Trening rozproszony spędza dużą część każdego kroku na wymianie gradientów i aktywacji. Jeśli sieć nie nadąża, GPU stoją bezczynnie, czekając na synchronizację, a dodanie kolejnych GPU przynosi coraz mniejsze korzyści. Szybkie połączenie to to, co zachowuje niemal liniową skalowalność wraz z dodawaniem akceleratorów.

Czy NVLink jest dostępny w każdej instancji wielo-GPU?

Nie. Niektóre węzły wielo-GPU łączą karty tylko przez PCIe, które ma znacznie niższą przepustowość GPU do GPU. Obecność wielu GPU nie gwarantuje NVLink, więc potwierdź połączenie wyraźnie w powyższym porównaniu, zamiast zakładać je na podstawie liczby GPU.