Dostawcy chmurowych GPU z NVLink lub InfiniBand

Co tak naprawdę robi NVLink i InfiniBand, gdy wynajmujesz wielokartowe obliczenia GPU

NVLink i InfiniBand rozwiązują ten sam podstawowy problem z dwóch różnych stron maszyny: przesyłanie danych między GPU na tyle szybko, aby akceleratory spędzały czas na obliczeniach, a nie na oczekiwaniu. Filtr powyżej zawęża listę do instancji chmurowych, które udostępniają jedno lub oba te połączenia. Nie są one zamienne — jedno to wewnątrz-węzłowa sieć łącząca GPU w jednym serwerze, a drugie to między-węzłowa sieć łącząca serwery w klaster. Dla każdego zadania rozciągającego się na więcej niż jedno GPU, połączenie często decyduje o różnicy między niemal liniową skalowalnością a konfiguracją, w której dodanie GPU prawie nie pomaga.

NVLink: szybki tor między GPU w jednej obudowie

NVLink to bezpośrednie połączenie GPU do GPU firmy NVIDIA. Zamiast kierować ruch przez magistralę PCIe hosta i CPU, NVLink łączy GPU ze sobą (a na niektórych platformach przez przełącznik NVSwitch), dzięki czemu każde GPU w węźle może komunikować się z każdym innym GPU z dużą przepustowością i niskimi opóźnieniami. Praktyczny efekt, gdy wynajmujesz instancję wyposażoną w NVLink:

• Znacznie wyższa przepustowość GPU do GPU niż w węzłach opartych wyłącznie na PCIe, co ma znaczenie zawsze, gdy gradienty, aktywacje lub fragmenty modelu muszą być wymieniane na każdym kroku.
• Pamięć współdzielona między GPU w praktyce — model zbyt duży dla pamięci VRAM jednego GPU może być podzielony w domenie NVLink, a ruch między GPU pozostaje na szybkiej sieci, zamiast powoli przechodzić przez PCIe.
• Niższe koszty synchronizacji dla operacji zbiorczych, takich jak all-reduce, które dominują w treningu równoległym na danych.

NVLink działa w obrębie pojedynczego węzła, więc jego zakres to zwykle 2, 4 lub 8 GPU, w zależności od konstrukcji serwera. Jeśli dostawca z powyższej listy reklamuje węzeł 8-GPU “z NVLink”, oznacza to, że te osiem kart jest ściśle połączonych. Samo to nic nie mówi o tym, jak ten węzeł łączy się z innymi węzłami.

InfiniBand: sieć, która łączy wiele serwerów w jeden klaster

InfiniBand to technologia sieciowa używana do łączenia oddzielnych serwerów GPU. Gdy zadania treningowe przekraczają możliwości pojedynczego węzła, wąskie gardło przesuwa się z wnętrza obudowy na połączenia między obudowami, a zwykła sieć Ethernet może blokować GPU. InfiniBand rozwiązuje to dzięki bardzo wysokiej przepustowości na łącze, niskim i przewidywalnym opóźnieniom oraz RDMA (zdalny bezpośredni dostęp do pamięci), który pozwala jednemu serwerowi czytać lub zapisywać pamięć innego serwera bez angażowania CPU po żadnej ze stron. W połączeniu z GPUDirect RDMA dane mogą przepływać z GPU do GPU między węzłami, omijając w dużej mierze kopiowanie w pamięci hosta.

Dla treningu wielowęzłowego to właśnie utrzymuje efektywność skalowania. Powodem, dla którego klaster z dziesiątkami lub setkami GPU może trenować duży model w rozsądnym czasie, jest to, że sieć międzywęzłowa nadąża za zbiorową komunikacją wymaganą przez algorytm. Przy przejściu na standardową sieć, to samo zadanie może spędzać dużą część czasu zegarowego na oczekiwaniu na sieć.

Które zadania faktycznie tego potrzebują

Filtrowanie po NVLink lub InfiniBand ma sens, gdy komunikacja, a nie tylko surowa moc obliczeniowa, jest na ścieżce krytycznej:

• Trening i dostrajanie dużych modeli, które dzielą parametry, stan optymalizatora lub warstwy między GPU (równoległość tensorowa, potokowa lub całkowicie podzielona na dane) — te schematy generują stały ruch między GPU i najbardziej korzystają z NVLink w węźle oraz InfiniBand między węzłami.
• Trening rozproszony wielowęzłowy, gdy zadanie po prostu nie mieści się w jednym serwerze — tutaj InfiniBand jest decydującym czynnikiem efektywności skalowania.
• HPC i symulacje naukowe z intensywną komunikacją międzyprocesową, które od lat opierają się na InfiniBand i RDMA.
• Wnioskowanie na dużych kontekstach lub dużych modelach, które dzielą pojedynczy model na wiele GPU, gdzie NVLink zmniejsza karę opóźnień przy dostępie do uwagi i wag między GPU.

To naprawdę przesada dla pracy na pojedynczym GPU. Dostosowywanie małego modelu, uruchamianie wsadowego wnioskowania mieszczącego się na jednej karcie, większość zadań renderowania i eksperymenty działają dobrze na pojedynczym GPU. Płacenie premii za ściśle połączony węzeł lub klaster InfiniBand nie przynosi korzyści, jeśli Twoje zadanie nigdy nie przekracza granicy GPU.

Co sprawdzić przed wynajmem

Te dwa połączenia są często mylone w materiałach marketingowych, więc zweryfikuj szczegóły względem powyższego porównania:

• Zakres — potwierdź, czy oferta oznacza NVLink (łączenie GPU w węźle) czy InfiniBand (sieć między węzłami). Instancja jedno-węzłowa może mieć NVLink i nie mieć wcale InfiniBand.
• Topologia i szerokość — ile GPU dzieli domenę NVLink (pełny NVSwitch all-to-all vs. częściowe mosty) oraz prędkość łącza InfiniBand i czy RDMA/GPUDirect jest włączone.
• Generacja — nowsze generacje GPU mają NVLink o wyższej przepustowości; sama etykieta “NVLink” nie mówi nic o prędkości.
• Dostępność wielowęzłowa — czy faktycznie można zarezerwować wiele połączonych węzłów i czy trafiają one do tej samej sieci, a nie są rozproszone po centrum danych.
• Wsparcie programowe — aby NCCL, MPI i Twój framework widziały i korzystały z sieci; błędna konfiguracja cicho przełącza się na wolniejsze ścieżki.

Pod względem kosztów i dostępności, instancje bogate w połączenia plasują się w wyższym segmencie. Węzły wielokartowe z NVLink i klastry połączone InfiniBand używają sprzętu premium i są stale poszukiwane, więc dostępność na żądanie jest ograniczona, a opcje spot lub przerywalne są rzadsze niż dla pojedynczych kart GPU. Szczególnie alokacje wielowęzłowe InfiniBand są często ograniczone, rezerwowane lub sprzedawane w większych blokach. Traktuj ceny w powyższej tabeli jako aktualne odniesienie, ponieważ stawki się zmieniają i różnią w zależności od dostawcy.

Najczęściej zadawane pytania

Czy potrzebuję obu: NVLink i InfiniBand?

To zależy od skali. Zadanie wielokartowe w jednym węźle potrzebuje tylko NVLink. W momencie, gdy trening rozciąga się na wiele serwerów, chcesz również InfiniBand łączący te węzły — oba działają na różnych warstwach, więc duży klaster zwykle polega na NVLink w każdej obudowie i InfiniBand między obudowami.

Czy moje zadanie na pojedynczym GPU będzie działać szybciej na instancji z NVLink lub InfiniBand?

Nie. Oba połączenia mają znaczenie tylko wtedy, gdy dane przemieszczają się między GPU lub między węzłami. Zadanie mieszczące się na jednym GPU nigdy nie korzysta z żadnej z tych sieci, więc płaciłbyś premię za zasoby, których nie możesz wykorzystać. Filtruj po nich tylko wtedy, gdy skalujesz się ponad jedno GPU.

Dlaczego połączenie jest ważniejsze niż specyfikacje pojedynczego GPU dla dużych zadań treningowych?

Trening rozproszony spędza dużą część każdego kroku na wymianie gradientów i aktywacji. Jeśli sieć nie nadąża, GPU pozostają bezczynne, czekając na synchronizację, a dodanie kolejnych GPU przynosi coraz mniejsze korzyści. Szybkie połączenie to to, co zachowuje niemal liniową skalowalność wraz z dodawaniem akceleratorów.

Czy NVLink jest dostępny w każdej instancji wielokartowej?

Nie. Niektóre węzły wielokartowe łączą swoje karty tylko przez PCIe, które ma znacznie niższą przepustowość GPU do GPU. Obecność wielu GPU nie gwarantuje NVLink, więc potwierdź połączenie wyraźnie w powyższym porównaniu, zamiast zakładać je na podstawie liczby GPU.