Dostawcy GPU w chmurze z instancjami Spot / Preemptible

Czym właściwie są instancje GPU spot i preemptible

Instancja GPU spot lub preemptible jest wynajmowana z puli nadmiarowej pojemności dostawcy po znacznej zniżce w zamian za jedno kluczowe warunki: dostawca może odebrać maszynę w dowolnym momencie, zwykle z niewielkim lub żadnym uprzedzeniem. Sprzęt jest identyczny jak w wersji on-demand tej samej GPU — ta sama pamięć VRAM, te same rdzenie tensorowe, ten sam interkonekt — ale umowa dotycząca dostępności jest inna. Kupujesz moc obliczeniową, która jest tania właśnie dlatego, że jest przerywalna. Każdy dostawca z powyższej listy oznaczony jako oferujący pojemność spot lub preemptible ujawnia ten kompromis w pewnej formie, choć nazwy się różnią: spot, preemptible, interruptible, community lub surplus instances opisują tę samą podstawową ideę.

Zniżka istnieje, ponieważ centra danych rzadko pracują na 100% wykorzystania. Bezczynne GPU nic nie zarabiają, więc dostawcy sprzedają tę nadwyżkę za ułamek standardowej stawki i akceptują, że mogą ją odebrać w momencie, gdy klient płacący pełną cenę będzie jej potrzebował lub gdy zmienią się ich własne potrzeby harmonogramowe. Dla najemcy oznacza to, że oszczędności są realne, ale wiążą się z obowiązkami operacyjnymi, których nie ma się na gwarantowanym węźle on-demand.

Dlaczego ceny przerywalne mają znaczenie dla rzeczywistych obciążeń

Powód, dla którego warto zrozumieć pojemność spot, jest taki, że wynajem GPU jest kosztowny, a zniżka na instancjach przerywalnych jest często na tyle duża, że zmienia, które projekty są ekonomicznie opłacalne. Problem polega na tym, że nie każde obciążenie toleruje przerwanie w trakcie działania. Decydującym czynnikiem jest niemal zawsze jak dobrze Twoje zadanie zapisuje i wznawia punkty kontrolne.

• Doskonałe dopasowanie: długie treningi i dostrajanie, które zapisują punkty kontrolne do trwałej pamięci co kilka minut, duże zadania batch-inference lub embedding, renderowanie offline, przeszukiwanie hiperparametrów, gdzie poszczególne próby są niezależne, oraz każdy pipeline już zbudowany wokół odporności na błędy.
• Słabe dopasowanie: inferencja w czasie rzeczywistym lub o niskiej latencji obsługująca aplikację na żywo, sesje interaktywne, gdzie utrata maszyny oznacza utratę niezapisanej pracy, oraz ściśle zsynchronizowany trening multi-GPU, który nie może się płynnie odzyskać po utracie jednego węzła.

Model mentalny jest prosty: jeśli utrata instancji kosztuje Cię tylko minuty od ostatniego punktu kontrolnego, spot jest prawie zawsze właściwym wyborem. Jeśli utrata kosztuje Cię żądanie, klienta lub godziny niezapisanego stanu, premia on-demand kupuje Ci spokój ducha, za który warto zapłacić.

Kompromisy do rozważenia

Przerwanie jest oczywistym kosztem, ale nie jedynym. Porównując dostawców pod tym kątem, miej na uwadze pełen obraz:

• Zachowanie przy odbiorze: niektórzy dostawcy dają krótkie powiadomienie o zakończeniu (często kilka minut), aby Twoje zadanie mogło zapisać stan i zakończyć się czysto; inni mogą natychmiast odebrać maszynę. Okres łaski jest bardzo cenny, ponieważ pozwala wywołać ostatni punkt kontrolny.
• Wahania dostępności: pule spot zmieniają się. Dokładnie ta GPU, którą chcesz w cenie, którą widziałeś, może być niedostępna przez pewien czas, a najbardziej pożądane akceleratory są odbierane bardziej agresywnie niż starsze lub mniej popularne karty.
• Pamięć trwała poza instancją: jeśli Twoje punkty kontrolne znajdują się tylko na lokalnym dysku instancji, przerwanie je usuwa. Spot działa bezpiecznie tylko wtedy, gdy Twoje dane i punkty kontrolne znajdują się na trwałej lub sieciowej pamięci, która przetrwa węzeł.
• Trudności z ponownym uruchomieniem: po odbiorze musisz ponownie zdobyć pojemność, ponownie pobrać obraz kontenera i dane oraz wznowić — więc czas zimnego startu i rozmiar obrazu wpływają na efektywną przepustowość i koszt.

Co sprawdzić przed wynajęciem pojemności spot

Ponieważ to samo słowo może oznaczać różne rzeczy u różnych dostawców, użyj powyższego porównania, aby potwierdzić szczegóły zamiast zakładać. Przed przypisaniem obciążenia do instancji przerywalnych przejdź przez tę listę kontrolną:

• Okres powiadomienia: czy dostawca ostrzega przed odbiorem i jak długi jest okres łaski? Nawet 30–120 sekund zmienia sposób projektowania punktów kontrolnych.
• Jak agresywne są odbiory: czy maszyny spot są odbierane tylko pod prawdziwym naciskiem pojemności, czy także dla rutynowego wyrównywania? Częste, niskociśnieniowe odbiory zmniejszają oszczędności.
• Infrastruktura punktów kontrolnych: czy możesz tanio zapisywać punkty kontrolne do trwałej pamięci obiektowej lub sieciowej i czy pobieranie ich jest rozsądne? To jest najważniejszy czynnik umożliwiający bezpieczne użycie spot.
• Automatyczne ponowne zdobycie: czy platforma automatycznie ponownie ustawia w kolejce i restartuje Twoje zadanie, gdy pojemność wróci, czy musisz to robić samodzielnie? Zarządzane ponowne ustawienie w kolejce znacznie ułatwia obsługę spot.
• Zachowanie multi-GPU i multi-węzłowe: jeśli potrzebujesz kilku GPU razem, utrata jednego może zatrzymać całe zadanie. Sprawdź, czy dostawca może atomowo utrzymać grupę, czy oferuje tylko pojedyncze GPU spot.
• Szczegółowość rozliczeń: rozliczenia sekundowe lub minutowe dobrze współgrają ze spot, ponieważ płacisz tylko za czas faktycznego działania przed odbiorem, a nie zaokrąglanie w górę.

Praktycznym wzorcem, który przyjmuje wiele zespołów, jest konfiguracja hybrydowa: uruchamiaj większość pracy nastawionej na przepustowość i checkpointowalnej na spot, aby skorzystać ze zniżki, jednocześnie utrzymując niewielki udział on-demand dla wszystkiego, co jest wrażliwe na opóźnienia lub stan. To połączenie pozwala uzyskać większość oszczędności bez narażania części pipeline’u, które naprawdę nie tolerują przerwania.

Najczęściej zadawane pytania

Czy stracę swoją pracę, gdy instancja GPU spot zostanie odebrana?

Tracisz wszelki stan, który istnieje tylko na instancji w momencie jej odbioru — w tym niezapisany postęp i wszystko na lokalnym dysku. Nie tracisz pracy, którą już zapisałeś do trwałej lub sieciowej pamięci. Dlatego częste checkpointowanie do trwałej pamięci jest podstawową zasadą bezpiecznego korzystania z pojemności spot; przy dobrym checkpointowaniu tracisz co najwyżej kilka minut od ostatniego zapisu.

Czy sprzęt GPU różni się na instancjach spot i on-demand?

Nie. Instancje spot i on-demand korzystają z tego samego fizycznego sprzętu, więc GPU, jej VRAM, rdzenie tensorowe i interkonekt są identyczne. Jedyną różnicą jest umowa dotycząca dostępności i ceny: spot jest tańszy, ale przerywalny, podczas gdy on-demand kosztuje więcej i nie jest odbierany w trakcie użytkowania. Płacisz za gwarantowaną ciągłość, a nie za szybszy układ scalony.

Ile można faktycznie zaoszczędzić na instancjach spot w porównaniu do on-demand?

Zniżka jest zazwyczaj znaczna i jest głównym powodem wyboru pojemności przerywalnej, ale dokładna wartość różni się w zależności od dostawcy, modelu GPU, regionu i aktualnego popytu, i ciągle się zmienia. Zamiast polegać na jednej liczbie, sprawdź powyższe porównanie na żywo, aby zobaczyć aktualną różnicę cen spot versus on-demand dla konkretnej GPU, którą chcesz.

Które obciążenia nigdy nie powinny działać na instancjach spot?

Unikaj spot dla wszystkiego, co nie może przetrwać nagłego zniknięcia: inferencja na żywo o niskiej latencji obsługująca aplikację produkcyjną, sesje interaktywne z niezapisanymi pracami oraz ściśle powiązane zadania multi-GPU, które nie mogą się odzyskać po utracie jednego węzła. Dla nich premia on-demand jest warta zapłaty. Wszystko, co czysto zapisuje punkty kontrolne i toleruje ponowne uruchomienia — trening, dostrajanie, batch inference, renderowanie i przeszukiwania — jest dobrze dopasowane do spot.