Dostawcy chmurowych GPU z pamięcią trwałą

Co oznacza trwała pamięć masowa przy wynajmie GPU w chmurze

Domyślnie wynajęta instancja GPU daje Ci działający dysk, który istnieje i znika wraz z instancją. W momencie zatrzymania, zniszczenia lub wywłaszczenia tej maszyny lokalny dysk jest wyczyszczony, a dane tracone. Trwała pamięć masowa przerywa to powiązanie: jest to wolumen pamięci masowej, którego czas życia jest niezależny od pojedynczej instancji GPU, dzięki czemu Twoje zestawy danych, punkty kontrolne modeli, środowiska conda i pamięć podręczna wag przetrwają wyłączenie i zostaną ponownie podłączone do kolejnej uruchomionej maszyny. Dostawcy wymienieni powyżej wszyscy oferują jakąś formę tego rozwiązania, ale implementacje różnią się na tyle, że „tak” to dopiero początek odpowiedzi.

W praktyce trwała pamięć masowa występuje w dwóch głównych formach. Pierwsza to wolumen sieciowy (blokowa lub system plików), który montujesz przez wewnętrzną sieć dostawcy i możesz podłączyć do dowolnego węzła GPU, który uruchomisz. Druga to pamięć obiektowa (kubły kompatybilne z S3), z której pobierasz dane na początku zadania i do której wysyłasz wyniki. Kilku dostawców oferuje również trwały katalog domowy na szybkim lokalnym dysku NVMe, który jest odłączony od cyklu życia obliczeń. Każde z tych rozwiązań zachowuje się bardzo różnie pod względem przepustowości, opóźnień i sposobu integracji z pętlą treningową.

Dlaczego to ma znaczenie dla rzeczywistych przepływów pracy GPU

Powód, dla którego warto filtrować według trwałej pamięci masowej, jest taki, że czas GPU to kosztowny zasób i nie chcesz go marnować na ponowne pobieranie i przygotowywanie danych. Konkretnie zmienia to następujące przepływy pracy:

• Długie treningi i dostrajanie zapisują punkty kontrolne co kilkaset kroków. Jeśli te punkty kontrolne znajdują się tylko na efemerycznym dysku, awaria lub wywłaszczenie węzła oznacza rozpoczęcie od zera. Trwała pamięć masowa pozwala wznowić od ostatniego punktu kontrolnego na nowym GPU.
• Instancje spot i przerywalne stają się naprawdę użyteczne. Cała ekonomia tanich, przerywalnych GPU zależy od możliwości utraty węzła bez utraty pracy — to działa tylko wtedy, gdy stan jest przechowywany na wolumenie, który przetrwa instancję.
• Duże zestawy danych (wielkości setek GB obrazów, wideo lub korpusów tokenów) są bolesne do ponownego przygotowania przy każdym uruchomieniu. Trwały wolumen przechowuje przygotowane, podzielone dane, dzięki czemu każda nowa sesja zaczyna się w ciągu sekund, a nie po długim kopiowaniu.
• Iteracyjny rozwój korzysta ze stabilnego katalogu domowego: Twoje środowisko, zainstalowane pakiety, pamięć podręczna wag Hugging Face i notatniki są dostępne także następnego dnia bez konieczności odbudowywania z obrazu kontenera.
• Serwowanie inferencji może utrzymywać wagi modelu „na ciepło” na podłączonym nośniku, dzięki czemu skalowana replika ładuje się szybko, zamiast pobierać dziesiątki GB z zewnętrznego kubła przy zimnym starcie.

Zalety i wady do rozważenia

Trwała pamięć masowa nie jest wolna od kosztów ani utrudnień, a różnice między dostawcami zwykle dotyczą właśnie tych kompromisów, a nie samego istnienia funkcji.

• Płacisz za nią nawet gdy jest bezczynna. Rozliczenie za obliczenia zatrzymuje się po wyłączeniu GPU, ale trwały wolumen nadal nalicza opłaty za pojemność (zwykle za GB-miesiąc), niezależnie od tego, czy GPU jest podłączony. Duży wolumen pozostawiony między projektami staje się cichym, powtarzającym się kosztem.
• Przypisanie do regionu i strefy. Wolumen sieciowy zwykle znajduje się w jednym regionie lub centrum danych. Jeśli GPU, których potrzebujesz, są dostępne tylko w innym regionie, możesz nie móc tam podłączyć swojego wolumenu — a migracja może wiązać się z opłatami za transfer lub czasem kopiowania.
• Przepustowość i opóźnienia różnią się znacznie. Lokalny dysk NVMe może dostarczać gigabajty na sekundę; system plików sieciowy może być znacznie wolniejszy i stanowić wąskie gardło dla intensywnej pętli treningowej. Dla potoków danych o wysokiej przepustowości ta różnica jest ważniejsza niż pojemność.
• Ograniczenia współbieżności. Niektóre wolumeny blokowe można podłączyć tylko do jednej instancji naraz, podczas gdy współdzielone systemy plików i pamięć obiektowa pozwalają na wielu czytelników. Trening wielowęzłowy zwykle wymaga współdzielonego systemu plików lub pamięci obiektowej, a nie wolumenu blokowego z pojedynczym podłączeniem.
• Opłaty za transfer i egress. Odczyt w tym samym regionie dostawcy jest zwykle tani, ale wyciąganie danych na laptopa lub do innej chmury może wiązać się z opłatami za egress, które przewyższają koszt samej pamięci.

Co sprawdzić w powyższym porównaniu

Czytając powyższą listę jako krótką listę dostawców wspierających trwałą pamięć masową, zagłęb się w szczegóły, zamiast traktować „tak” jako jednolite potwierdzenie:

1. Typ wolumenu i przepustowość — czy jest to blok, system plików sieciowy, czy pamięć obiektowa, i jaka jest rzeczywista przepustowość odczytu/zapisu pod obciążeniem treningowym?
2. Model cenowy — opłata za GB-miesiąc za wolumen oraz czy płacisz, gdy GPU nie jest podłączony.
3. Powiązanie z regionem — czy wolumen można podłączyć do typów GPU i regionów, których faktycznie potrzebujesz, w tym do pojemności spot?
4. Pojemność i ograniczenia — maksymalny rozmiar wolumenu, wsparcie dla snapshotów oraz czy można go współdzielić między wieloma węzłami.
5. Warunki egressu — ile kosztuje przesyłanie danych na zewnątrz, ponieważ często decyduje to o całkowitych wydatkach bardziej niż koszt samej pamięci.

Dopasuj te odpowiedzi do swojego obciążenia: pojedyncze długie dostrajanie wymaga niezawodnego zapisu punktów kontrolnych i wznowienia; ciężki potok danych potrzebuje surowej przepustowości; bezserwerowa lub autoskalująca się flota inferencyjna potrzebuje szybkich, współdzielonych odczytów „ciepłych” wag. Właściwy dostawca w tabeli to ten, którego kształt trwałej pamięci masowej pasuje do Twojego dominującego wzorca.

Najczęściej zadawane pytania

Czy trwała pamięć masowa zachowuje moje dane, jeśli zatrzymam instancję GPU?

Tak — to właśnie jest jej cel. Trwały wolumen jest odłączony od instancji obliczeniowej, więc zatrzymanie lub zniszczenie węzła GPU pozostawia wolumen i jego zawartość nienaruszone. Podłączasz go ponownie do kolejnej uruchomionej instancji. Pamiętaj jednak, że sam wolumen zwykle nadal generuje opłaty za pojemność, nawet gdy GPU nie działa.

Czy trwała pamięć masowa jest wliczona w cenę wynajmu GPU?

Zwykle nie. Godzinowa stawka za GPU obejmuje obliczenia i podstawowy dysk efemeryczny, podczas gdy trwałe wolumeny są rozliczane osobno według pojemności, zwykle za GB na miesiąc. Zawsze traktuj pamięć masową jako osobną pozycję przy szacowaniu całkowitych kosztów i sprawdź powyższe porównanie na żywo, aby zobaczyć, jak każdy dostawca ją wycenia.

Czy mogę używać trwałej pamięci masowej z tanimi GPU spot lub przerywalnymi?

To jedna z najlepszych przyczyn, by tego chcieć. Ponieważ wolumen żyje dłużej niż pojedynczy węzeł, możesz zostać wywłaszczony z instancji spot, nic nie stracić i wznowić od ostatniego punktu kontrolnego na nowej maszynie. Potwierdź, że dostawca pozwala na podłączenie wolumenu do pojemności spot w tym samym regionie, gdzie dostępne są te GPU.

Jaka jest różnica między trwałą pamięcią masową a pamięcią obiektową taką jak S3?

Pamięć obiektowa to jeden ze sposobów na trwałe przechowywanie danych, ale odczytujesz i zapisujesz ją jako kubły i obiekty przez API, a nie montujesz jako lokalny dysk. Trwały wolumen blokowy lub system plików zachowuje się jak podłączony dysk, z którego Twój kod czyta bezpośrednio. Pamięć obiektowa skaluje się do ogromnych rozmiarów i jest współdzielona między wieloma węzłami; zamontowane wolumeny zwykle oferują niższe opóźnienia dla aktywnej pętli treningowej. Wiele przepływów pracy korzysta z obu — kubły do archiwów zimnych, zamontowany wolumen do aktywnego zestawu roboczego.