Furnizori de GPU în cloud cu stocare persistentă

Ce înseamnă stocarea persistentă atunci când închiriezi un GPU în cloud

Implicit, o instanță GPU închiriată îți oferă un disc funcțional care există doar pe durata instanței. În momentul în care oprești, distrugi sau ești deconectat de pe acea mașină, discul local este șters și datele dispar. Stocarea persistentă rupe această legătură: este un volum de stocare a cărui durată de viață este independentă de orice instanță GPU individuală, astfel încât seturile tale de date, punctele de control ale modelelor, mediile conda și greutățile cache-uite supraviețuiesc unei opriri și se atașează la următoarea mașină pe care o pornești. Toți furnizorii din comparația de mai sus oferă o formă a acesteia, dar implementările diferă suficient încât „da” este doar începutul răspunsului.

În practică, stocarea persistentă apare în două forme principale. Prima este un volum de rețea (stocare bloc sau sistem de fișiere) pe care îl montezi prin rețeaua internă a furnizorului și îl poți atașa la orice nod GPU pe care îl lansezi. A doua este stocarea de obiecte (buckets compatibile S3) de unde preiei date la începutul jobului și unde trimiți rezultatele înapoi. Câțiva furnizori păstrează, de asemenea, un director home persistent pe un pool local rapid NVMe, decuplat de ciclul de viață al calculului. Fiecare se comportă foarte diferit în ceea ce privește debitul, latența și modul în care îl integrezi într-un ciclu de antrenament.

De ce contează pentru fluxurile reale de lucru cu GPU

Motivul pentru care merită să filtrezi după stocarea persistentă este că timpul de GPU este o resursă costisitoare și nu dorești să-l irosești re-descărcând și re-preparând datele. Concret, aceasta schimbă următoarele fluxuri de lucru:

• Rulări lungi de antrenament și fine-tuning scriu puncte de control la fiecare câteva sute de pași. Dacă acele puncte de control există doar pe discul efemer, un nod care se blochează sau este deconectat înseamnă să reîncepi de la zero. Stocarea persistentă îți permite să reiei de la ultimul punct de control pe un GPU nou.
• Instanțele spot și întreruptibile devin cu adevărat utilizabile. Întreaga economie a GPU-urilor preemptibile ieftine depinde de posibilitatea de a pierde nodul fără a pierde munca — acest lucru este valabil doar dacă starea ta trăiește pe un volum care supraviețuiește instanței.
• Seturi mari de date (corporații de imagini, video sau tokeni de sute de GB) sunt dureroase de re-pus în scenă la fiecare lansare. Un volum persistent păstrează datele pregătite și fragmentate astfel încât fiecare sesiune nouă începe în câteva secunde, nu după o copiere lungă.
• Dezvoltarea iterativă beneficiază de un director home stabil: mediul tău, pachetele instalate, greutățile cache-uite Hugging Face și notebook-urile sunt încă acolo a doua zi fără a reconstrui dintr-o imagine de container.
• Servirea inferenței poate păstra greutățile modelului „calde” pe stocarea atașată, astfel încât o replică scalată în sus să se încarce rapid în loc să tragă zeci de GB dintr-un bucket îndepărtat la pornirea rece.

Compromisurile de luat în considerare

Stocarea persistentă nu este lipsită de costuri sau fricțiuni, iar diferențele dintre furnizori se regăsesc de obicei în aceste compromisuri, mai degrabă decât în existența sau nu a funcției.

• Plătești pentru ea chiar și când este inactivă. Facturarea pentru calcul se oprește când oprești un GPU, dar un volum persistent continuă să fie facturat pentru capacitate (de obicei pe GB-lună), indiferent dacă un GPU este atașat sau nu. Un volum mare lăsat între proiecte devine o taxă recurentă discretă.
• Fixarea pe regiune și zonă. Un volum de rețea de obicei există într-o singură regiune sau centru de date. Dacă GPU-urile de tipul dorit sunt disponibile doar într-o altă regiune, este posibil să nu poți atașa volumul acolo — iar migrarea poate implica taxe de ieșire sau timp de copiere.
• Debitul și latența variază foarte mult. Scratch-ul local NVMe poate livra gigabiți pe secundă; un sistem de fișiere de rețea poate fi mult mai lent și poate bloca un ciclu de antrenament care consumă multe date. Pentru pipeline-urile de date cu debit mare, această diferență contează mai mult decât capacitatea.
• Limitele de concurență. Unele volume bloc se pot atașa la o singură instanță odată, în timp ce sistemele de fișiere partajate și stocarea de obiecte permit mulți cititori. Antrenamentul multi-nod necesită în general un sistem de fișiere partajat sau un magazin de obiecte, nu un dispozitiv bloc cu atașare unică.
• Taxe de ieșire și transfer. Citirea în aceeași regiune a furnizorului este de obicei ieftină, dar extragerea datelor către laptopul tău sau alt cloud poate implica taxe de ieșire care depășesc costul stocării.

Ce să verifici în comparația de mai sus

Când citești lista de mai sus ca un scurtă listă de furnizori care suportă stocarea persistentă, aprofundează detaliile în loc să tratezi „da” ca fiind uniform:

1. Tipul volumului și debitul — este stocare bloc, sistem de fișiere de rețea sau stocare de obiecte și ce lățime de bandă reală de citire/scriere susține sub o sarcină de antrenament?
2. Modelul de tarifare — pe GB-lună pentru volum și dacă plătești în continuare când nu este atașat niciun GPU.
3. Legătura cu regiunea — poate volumul să se atașeze la tipurile de GPU și regiunile de care ai nevoie, inclusiv capacitatea spot?
4. Capacitatea și limitele — dimensiunea maximă a volumului, suportul pentru snapshot și dacă poate fi partajat între mai multe noduri.
5. Termenii de ieșire — cât costă să muți datele în afară, deoarece acest lucru decide adesea cheltuiala totală mai mult decât linia de cost a stocării.

Potrivește aceste răspunsuri cu fluxul tău de lucru: un singur fine-tune lung dorește persistență fiabilă a punctelor de control și reluare; un pipeline de date intens dorește debit brut; o flotă serverless sau autoscalabilă de inferență dorește citiri rapide partajate ale greutăților „calde”. Furnizorul potrivit din tabel este cel a cărui formă de stocare persistentă se potrivește modelului tău dominant.

Întrebări frecvente

Stocarea persistentă păstrează datele mele dacă opresc instanța GPU?

Da — acesta este exact scopul său. Un volum persistent este decuplat de instanța de calcul, astfel încât oprirea sau distrugerea nodului GPU lasă volumul și conținutul său intacte. Îl atașezi din nou la următoarea instanță pe care o lansezi. Doar amintește-ți că volumul însuși de obicei continuă să acumuleze o taxă de capacitate cât timp există, chiar dacă nu rulează niciun GPU.

Stocarea persistentă este inclusă în prețul închirierii GPU?

De obicei nu. Tariful orar pentru GPU acoperă calculul și un disc efemer de bază, în timp ce volumele persistente sunt facturate separat după capacitate, de obicei pe GB pe lună. Tratează întotdeauna stocarea ca o linie distinctă când estimezi costul total și verifică comparația live de mai sus pentru modul în care fiecare furnizor o tarifează.

Pot folosi stocarea persistentă cu GPU-uri spot sau întreruptibile ieftine?

Aceasta este unul dintre cele mai bune motive pentru a o dori. Deoarece volumul supraviețuiește oricărui nod individual, poți fi deconectat de pe o instanță spot, să nu pierzi nimic și să reiei de la ultimul punct de control pe o mașină nouă. Confirmă că furnizorul permite atașarea volumului la capacitatea spot în aceeași regiune în care sunt disponibile acele GPU-uri.

Care este diferența între stocarea persistentă și stocarea de obiecte precum S3?

Stocarea de obiecte este o modalitate de a face datele persistente, dar o citești și scrii ca buckets și obiecte printr-un API, nu o montezi ca un disc local. Un volum persistent bloc sau sistem de fișiere se comportă ca un disc atașat pe care codul tău îl citește direct. Stocarea de obiecte scalează enorm și este partajabilă între multe noduri; volumele montate oferă de obicei latență mai mică pentru un ciclu activ de antrenament. Multe fluxuri de lucru folosesc ambele — buckets pentru arhive reci, un volum montat pentru setul de lucru activ.