Najlepsze GPU w chmurze do trenowania modeli AI

Czego faktycznie wymaga trening modelu AI od wynajmowanej karty GPU

Trening to najbardziej zasobożerna faza cyklu życia uczenia maszynowego. W przeciwieństwie do inferencji, która uruchamia gotowy model raz na żądanie, trening wielokrotnie przesuwa partie danych do przodu i do tyłu przez sieć, obliczając gradienty i aktualizując miliony lub miliardy parametrów na wielu epokach. Ten iteracyjny, długotrwały i pamięciożerny wzorzec odróżnia dobry wynajem do treningu od jedynie taniego. Porównanie powyżej jest filtrowane do instancji odpowiednich do tego zadania, ale wiedza dlaczego kwalifikują się one pomaga poprawnie je odczytać.

Podczas treningu GPU musi przechowywać znacznie więcej niż tylko wagi modelu. Jednocześnie przechowuje aktywacje do propagacji wstecznej, gradienty oraz stan optymalizatora. Przy powszechnych optymalizatorach, takich jak Adam, sam stan optymalizatora może mniej więcej potroić zapotrzebowanie na pamięć względem wag, ponieważ śledzi on momentum i wariancję oprócz parametrów. To jest najważniejszy powód, dla którego karta, która bez problemu obsługuje inferencję danego modelu, może zabraknąć pamięci w momencie próby dostrojenia lub wstępnego treningu.

Specyfikacje najważniejsze dla treningu

• Pojemność VRAM to twarda granica. Decyduje o największym modelu i rozmiarze partii, które można zmieścić, zanim zmuszeni będziemy do checkpointingu gradientów, offloadu lub podziału na wiele GPU. Akceleratory w centrach danych z pamięcią o wysokiej przepustowości (HBM) mają znacznie więcej VRAM niż karty konsumenckie, dlatego poważny trening koncentruje się na nich.
• Przepustowość pamięci zasila jednostki obliczeniowe. Trening jest często ograniczony przez pamięć, więc przepustowość klasy HBM często ma większe znaczenie dla rzeczywistej przepustowości niż surowa szczytowa liczba FLOPS. Karta pozbawiona przepustowości pozostawia swoje rdzenie tensorowe bezczynne.
• Wsparcie dla niskiej precyzji bezpośrednio wpływa na szybkość. Rdzenie tensorowe przyspieszają FP16 i BF16, a nowsze architektury dodają FP8. BF16 jest szczególnie cenione do treningu, ponieważ jego szerszy zakres wykładnika przeciwdziała przepełnieniom i niedomiarom, które utrudniają FP16, czyniąc mieszane precyzje bardziej stabilnymi.
• Interkonekt decyduje o tym, jak dobrze skalujesz się poza jedną kartę GPU. NVLink między kartami w węźle oraz szybka sieć, taka jak InfiniBand między węzłami, decydują, czy synchronizacja gradientów stanie się wąskim gardłem. Konfiguracje multi-GPU oparte wyłącznie na PCIe mogą się zatrzymywać podczas komunikacji w treningu rozproszonym.

Trening na pojedynczym GPU, wielu GPU i wielu węzłach

Nie każde zadanie treningowe wymaga klastra. Dopasuj skalę wynajmu do skali pracy:

• Pojedynczy GPU wystarcza dla mniejszych modeli, efektywnego parametrowo dostrajania (takiego jak adaptery w stylu LoRA) oraz większości eksperymentów. Tutaj chcesz największej VRAM, jaką możesz uzasadnić, aby uniknąć obejść z mikro-pakietowaniem.
• Multi-GPU na jednym węźle nadaje się do pełnych dostroiń i modeli średniej wielkości. Równoległość danych replikuje model i dzieli partię; tutaj NVLink uzasadnia swoją wartość, przyspieszając krok all-reduce, który uśrednia gradienty między kartami.
• Klastry wielowęzłowe są wymagane do dużych wstępnych treningów, gdzie sam model jest podzielony za pomocą równoległości tensorowej, potokowej lub całkowicie podzielonej danych. Na tej skali przepustowość i topologia sieci między węzłami stają się równie ważne jak GPU, a wolna sieć może zniweczyć korzyści z dodawania sprzętu.

Funkcje dostawcy, które decydują o powodzeniu treningu

Sprzęt to tylko połowa decyzji. Długie zadania treningowe ujawniają szczegóły operacyjne, których krótkie zadania inferencyjne nigdy nie doświadczają:

• Przepustowość magazynu danych ma znaczenie, ponieważ potok danych musi zasilać GPU bez przestojów. Duże zbiory danych potrzebują szybkiego, trwałego magazynu blisko obliczeń; wolny dysk lub zdalny zasobnik może ograniczyć potencjał nawet bardzo wydajnej karty GPU.
• Spot versus on-demand to prawdziwy kompromis dla treningu. Przerywalne instancje znacznie obniżają koszty, ale przerwanie w trakcie pracy marnuje postęp, chyba że często wykonujesz checkpointing i możesz wznowić czysto. On-demand lub zarezerwowana pojemność zapewnia niezawodność dla zadań, których nie możesz sobie pozwolić stracić.
• Wsparcie checkpointingu i trwałe wolumeny pozwalają przetrwać przerwy, zatrzymać się na inspekcję wyników i wznowić bez ponownego przesyłania wszystkiego. To niezbędne dla wielodniowych zadań.
• Szczegółowość rozliczeń wpływa na całkowity koszt. Rozliczenia sekundowe lub minutowe premiują krótkie, iteracyjne eksperymenty, podczas gdy grube zaokrąglenia godzinowe karzą częste cykle start-stop podczas rozwoju.
• Dostępność multi-GPU i multi-węzłowej powinna być potwierdzona z wyprzedzeniem. Zabezpieczenie ośmiu kart w jednym węźle lub kilku połączonych węzłów jest trudniejsze niż wynajem pojedynczego GPU, a dostępność bywa różna.

Jak czytać powyższe porównanie dla obciążenia treningowego

Zacznij od rozmiaru modelu i zbioru danych, potem rozszerzaj. Oszacuj pamięć potrzebną na wagi plus gradienty plus stan optymalizatora i przefiltruj instancje, których VRAM spełnia ten wymóg z zapasem. Następnie zdecyduj, czy wystarczy jeden GPU, czy potrzebujesz multi-GPU połączonych NVLinkiem lub klastra sieciowego, i sprawdź, czy kandydaci oferują taką topologię. Dopiero wtedy rozważ cenę i model rozliczeń. Nieco droższa instancja z większą VRAM i szybszym interkonektem często kończy szybciej i kosztuje mniej niż tańsza karta, która zmusza do powolnych obejść. Ponieważ stawki wynajmu zmieniają się stale i różnią między dostawcami, traktuj żywe dane w powyższej tabeli jako źródło prawdy, a nie jakiekolwiek liczby podane w tekście.

Najczęściej zadawane pytania

Ile pamięci GPU potrzebuję do treningu modelu?

Planuj znacznie więcej niż liczba parametrów modelu. Poza wagami musisz przechowywać aktywacje do propagacji wstecznej, gradienty i stan optymalizatora, który przy optymalizatorach typu Adam może mniej więcej potroić zapotrzebowanie na pamięć względem wag. Mieszana precyzja i techniki takie jak checkpointing gradientów czy offload zmniejszają wymagania, ale bezpieczniej jest wybrać VRAM z zapasem niż dopasować dokładnie.

Czy instancje spot lub przerywalne są bezpieczne dla zadań treningowych?

Mogą być, pod warunkiem częstego checkpointingu i czystego wznowienia kodu od ostatniego zapisanego stanu. Pojemność spot znacząco obniża koszty, ale może zostać odebrana w każdej chwili, więc lepiej nadaje się do odpornych na błędy lub eksperymentalnych uruchomień niż do pojedynczych, niepowtarzalnych długich zadań. Do treningu, którego nie możesz sobie pozwolić przerwać, bezpieczniejszym wyborem jest on-demand lub zarezerwowana pojemność.

Czy potrzebuję wielu GPU do treningu, czy jeden wystarczy?

To zależy od rozmiaru modelu i zbioru danych. Mniejsze modele, dostrajanie i metody efektywne parametrowo często działają dobrze na pojedynczym GPU z dużą VRAM. Pełne dostrajanie i większe modele korzystają z węzłów multi-GPU z szybkim interkonektem, a tylko największe zadania wstępnego treningu naprawdę wymagają klastrów multi-węzłowych z szybką siecią między maszynami.

Dlaczego interkonekt jest tak ważny dla treningu?

Trening rozproszony stale synchronizuje gradienty między GPU. Jeśli łącze między kartami lub węzłami jest wolne, ta komunikacja blokuje każdy krok i GPU siedzą bezczynnie, czekając na siebie nawzajem. Szybki interkonekt, taki jak NVLink w węźle i InfiniBand między węzłami, zapobiega, by synchronizacja stała się wąskim gardłem, więc dodanie sprzętu faktycznie przyspiesza trening zamiast tylko zwiększać narzut.