Poskytovatelé cloudových GPU s perzistentním úložištěm

Co znamená perzistentní úložiště při pronájmu cloudové GPU

Ve výchozím nastavení vám pronajatá instance GPU poskytuje pracovní disk, který existuje pouze po dobu běhu instance. Ve chvíli, kdy instanci zastavíte, zničíte nebo jste z ní předčasně odejiti, je lokální disk vymazán a data jsou ztracena. Perzistentní úložiště tento vztah přerušuje: jedná se o úložný svazek, jehož životnost není vázána na konkrétní instanci GPU, takže vaše datové sady, kontrolní body modelů, conda prostředí a uložené váhy přežijí vypnutí a připojí se k další spuštěné instanci. Poskytovatelé uvedení v porovnání výše všichni nabízejí nějakou formu tohoto úložiště, ale implementace se liší natolik, že „ano“ je teprve začátek odpovědi.

V praxi se perzistentní úložiště vyskytuje ve dvou hlavních podobách. První je síťový svazek (blokové nebo souborové úložiště), který připojíte přes interní síť poskytovatele a můžete jej připojit k libovolnému spuštěnému uzlu GPU. Druhou je objektové úložiště (kbelíky kompatibilní se S3), ze kterého stahujete data na začátku úlohy a do kterého ukládáte výsledky. Někteří poskytovatelé také uchovávají perzistentní domovský adresář na rychlém lokálním NVMe úložišti, které je odděleno od životního cyklu výpočetního uzlu. Každý typ se chová velmi odlišně z hlediska propustnosti, latence a způsobu, jak jej zapojíte do tréninkové smyčky.

Proč je to důležité pro reálné workflow s GPU

Důvod, proč je perzistentní úložiště důležité, je ten, že čas na GPU je drahý zdroj a nechcete jej plýtvat opětovným stahováním a přípravou dat. Konkrétně to mění tyto pracovní postupy:

• Dlouhé tréninky a doladění modelů zapisují kontrolní body každých několik stovek kroků. Pokud tyto kontrolní body existují pouze na efemérním disku, znamená pád nebo předčasné ukončení uzlu restartování od začátku. Perzistentní úložiště umožňuje pokračovat od posledního kontrolního bodu na nové GPU.
• Spotové a přerušitelné instance se stávají skutečně použitelné. Celá ekonomika levných přerušitelných GPU závisí na možnosti ztratit uzel, aniž byste ztratili práci — to platí pouze pokud váš stav žije na svazku, který přežije instanci.
• Velké datové sady (stovky GB obrazových, video nebo tokenových korpusů) je bolestné znovu načítat při každém spuštění. Perzistentní svazek uchovává připravená, rozdělená data, takže každá nová relace začíná během sekund místo po dlouhém kopírování.
• Iterativní vývoj těží ze stabilního domovského adresáře: vaše prostředí, nainstalované balíčky, uložené váhy Hugging Face a poznámkové bloky jsou k dispozici i další den bez nutnosti znovu sestavovat z kontejnerového obrazu.
• Nasazení inferencí může udržovat váhy modelu „teplé“ na připojeném úložišti, takže škálovaná replika se rychle načte místo toho, aby při studeném startu stahovala desítky GB z vzdáleného kbelíku.

Kompromisy, které je třeba zvážit

Perzistentní úložiště není bez nákladů nebo omezení a rozdíly mezi poskytovateli obvykle spočívají právě v těchto kompromisech, nikoli v tom, zda funkce vůbec existuje.

• Platíte za něj i v nečinnosti. Účtování za výpočetní výkon končí, když GPU zastavíte, ale perzistentní svazek účtuje kapacitu (obvykle za GB-měsíc) bez ohledu na to, zda je GPU připojeno. Velký svazek ponechaný mezi projekty znamená tichý opakující se poplatek.
• Připoutání k regionu a zóně. Síťový svazek obvykle existuje v jednom regionu nebo datovém centru. Pokud jsou GPU požadovaného typu dostupné pouze v jiném regionu, nemusí být možné svazek tam připojit — a migrace může znamenat poplatky za odchozí data nebo čas kopírování.
• Propustnost a latence se velmi liší. Lokální NVMe rychle dodá gigabajty za sekundu; síťový souborový systém může být mnohem pomalejší a může být úzkým hrdlem datově náročné tréninkové smyčky. Pro datové pipeline s vysokou propustností je tento rozdíl důležitější než kapacita.
• Omezení souběžnosti. Některé blokové svazky lze připojit pouze k jedné instanci najednou, zatímco sdílené souborové systémy a objektové úložiště umožňují mnoho čtenářů. Víceuzlový trénink obvykle vyžaduje sdílený souborový systém nebo objektové úložiště, nikoli blokové zařízení s jediným připojením.
• Poplatky za odchozí data a přenosy. Čtení uvnitř stejného regionu poskytovatele je obvykle levné, ale stahování dat na váš notebook nebo do jiného cloudu může nést poplatky za odchozí data, které převyšují náklady na úložiště.

Co zkontrolovat v porovnání výše

Když si přečtete výše uvedený seznam jako krátký seznam poskytovatelů, kteří podporují perzistentní úložiště, podívejte se na detaily místo toho, abyste „ano“ brali jako jednotné:

1. Typ svazku a propustnost — je to blokové, síťové souborové úložiště nebo objektové úložiště a jakou skutečnou rychlost čtení/zápisu udrží pod tréninkovou zátěží?
2. Cenový model — cena za GB-měsíc za svazek a zda platíte i v době, kdy není GPU připojeno.
3. Vazba na region — lze svazek připojit k typům GPU a regionům, které skutečně potřebujete, včetně spotové kapacity?
4. Kapacita a omezení — maximální velikost svazku, podpora snapshotů a zda může být sdílen mezi více uzly.
5. Podmínky odchozích dat — kolik stojí přesun dat ven, protože to často rozhoduje o celkových nákladech více než samotné úložiště.

Přizpůsobte tyto odpovědi vašemu workflow: jedno dlouhé doladění chce spolehlivou perzistenci kontrolních bodů a pokračování; datově náročný pipeline chce syrovou propustnost; serverless nebo autoscaling inference flotila chce rychlé sdílené čtení „teplých“ vah. Správný poskytovatel v tabulce je ten, jehož tvar perzistentního úložiště odpovídá vašemu dominantnímu vzoru.

Často kladené otázky

Udrží perzistentní úložiště moje data, když zastavím instanci GPU?

Ano — to je přesně jeho účel. Perzistentní svazek je oddělen od výpočetní instance, takže zastavení nebo zničení uzlu GPU ponechá svazek a jeho obsah nedotčený. Připojíte jej k další spuštěné instanci. Jen mějte na paměti, že svazek sám obvykle nadále účtuje poplatek za kapacitu, dokud existuje, i když není spuštěno žádné GPU.

Je perzistentní úložiště zahrnuto v ceně pronájmu GPU?

Obvykle ne. Hodinová sazba za GPU pokrývá výpočetní výkon a základní efemérní disk, zatímco perzistentní svazky jsou účtovány zvlášť podle kapacity, obvykle za GB za měsíc. Vždy považujte úložiště za samostatnou položku při odhadu celkových nákladů a zkontrolujte živé porovnání výše, jak jej každý poskytovatel oceňuje.

Mohu použít perzistentní úložiště s levnými spotovými nebo přerušitelnými GPU?

To je jeden z nejlepších důvodů, proč jej chtít. Protože svazek přežije jakýkoli jednotlivý uzel, můžete být předčasně odejiti ze spotové instance, nic neztratíte a pokračujete od posledního kontrolního bodu na novém stroji. Ověřte, že poskytovatel umožňuje připojení svazku ke spotové kapacitě ve stejném regionu, kde jsou tyto GPU dostupné.

Jaký je rozdíl mezi perzistentním úložištěm a objektovým úložištěm jako S3?

Objektové úložiště je jedním ze způsobů, jak data uchovat, ale čtete a zapisujete je jako kbelíky a objekty přes API, nikoli jako připojený lokální disk. Perzistentní blokový nebo souborový svazek se chová jako připojený disk, který váš kód čte přímo. Objektové úložiště škáluje do obrovských rozměrů a je sdílené mezi mnoha uzly; připojené svazky obvykle nabízejí nižší latenci pro aktivní tréninkovou smyčku. Mnoho workflow používá obojí — kbelíky pro studené archivy, připojený svazek pro živou pracovní množinu.