Poskytovatelé cloudových GPU s možností spot / přerušitelných instancí

Co vlastně znamenají spotové a přerušitelné GPU instance

Spotová nebo přerušitelná GPU instance je pronajata z rezervní kapacity poskytovatele za výraznou slevu výměnou za jednu zásadní podmínku: poskytovatel může stroj kdykoli odebrat, obvykle s malým nebo žádným předstihem. Hardware je identický s on-demand verzí stejného GPU — stejná VRAM, stejné tensorové jádra, stejné propojení — ale smlouva ohledně jeho dostupnosti je odlišná. Kupujete výpočetní výkon, který je levný právě proto, že je přerušitelný. Každý poskytovatel v seznamu výše, který nabízí spotovou nebo přerušitelnou kapacitu, tuto výměnu nějakým způsobem umožňuje, i když názvy se liší: spot, přerušitelné, přerušovatelné, komunitní nebo přebytkové instance všechny popisují stejný základní koncept.

Sleva existuje proto, že datová centra zřídka běží na 100% využití. Nečinné GPU nevydělávají nic, proto poskytovatelé prodávají tuto nevyužitou kapacitu za zlomek standardní ceny a akceptují, že ji mohou kdykoli odebrat, když si zákazník zaplatí plnou cenu, nebo když se změní jejich vlastní plánování. Pro nájemce to znamená, že úspory jsou skutečné, ale přicházejí s provozními závazky, které na garantovaném on-demand uzlu nemáte.

Proč je přerušitelná cena důležitá pro reálné pracovní zatížení

Důvod, proč stojí za to rozumět spotové kapacitě, je ten, že pronájem GPU je drahý a sleva na přerušitelných instancích je často dostatečně velká, aby změnila ekonomickou životaschopnost projektů. Háček je v tom, že ne každé pracovní zatížení snese přerušení během běhu. Rozhodujícím faktorem je téměř vždy jak dobře vaše úloha ukládá kontrolní body a obnovuje se.

• Výborné využití: dlouhé tréninky a doladění, které ukládají kontrolní body na trvalé úložiště každých pár minut, velké dávkové inferenční nebo embeddingové úlohy, offline rendering, hyperparametrické průzkumy, kde jsou jednotlivé pokusy nezávislé, a jakýkoli pipeline již postavený na odolnosti vůči chybám.
• Nevhodné využití: reálné časové nebo nízkolatenční inferenční služby pro živé aplikace, interaktivní vývojové sezení, kde ztráta instance znamená ztrátu neuložené práce, a těsně synchronizované multi-GPU tréninky, které se nemohou elegantně zotavit, když jeden uzel zmizí.

Mentální model je jednoduchý: pokud vás ztráta instance stojí jen minuty od posledního kontrolního bodu, spotová instance je téměř vždy správná volba. Pokud vás ztráta stojí požadavek, zákazníka nebo hodiny neuloženého stavu, prémiová on-demand instance vám kupuje klid, za který stojí zaplatit.

Kompromisy, které je třeba zvážit

Přerušení je zřejmou cenou, ale není jedinou. Při porovnávání poskytovatelů v této oblasti mějte na paměti celý obrázek:

• Chování při odebrání: někteří poskytovatelé dávají krátké oznámení o ukončení (často pár minut), aby vaše úloha mohla uložit stav a čistě ukončit; jiní mohou stroj odebrat okamžitě. Lhůta na ukončení je nesmírně cenná, protože vám umožní spustit poslední kontrolní bod.
• Kolísání dostupnosti: spotové pooly kolísají. Přesné GPU, které chcete za cenu, kterou jste viděli, může být po určitou dobu nedostupné, a nejžádanější akcelerátory jsou odebrány agresivněji než starší nebo méně populární karty.
• Úložiště, které přežije instanci: pokud vaše kontrolní body žijí pouze na lokálním disku instance, přerušení je smaže. Spot funguje bezpečně pouze tehdy, když vaše data a kontrolní body jsou na trvalém nebo síťovém úložišti, které přežije uzel.
• Tření při restartu: po odebrání musíte znovu získat kapacitu, znovu stáhnout kontejnerový obraz a data a pokračovat — takže doba studeného startu a velikost obrazu ovlivňují váš efektivní průtok a náklady.

Co zkontrolovat před pronájmem spotové kapacity

Protože stejný termín může u různých poskytovatelů znamenat různé věci, použijte výše uvedené srovnání k potvrzení konkrétních podmínek, místo abyste předpokládali. Před nasazením pracovního zatížení na přerušitelné instance projděte tento kontrolní seznam:

• Oznámení před odebráním: varuje vás poskytovatel před odebráním a jak dlouhá je lhůta na ukončení? I 30–120 sekund mění způsob, jak navrhujete ukládání kontrolních bodů.
• Jak agresivní jsou odebrání: jsou spotové stroje odebrány jen při skutečném tlaku na kapacitu, nebo i při rutinním vyvažování? Častá odebrání bez tlaku snižují úspory.
• Způsob ukládání kontrolních bodů: můžete levně zapisovat kontrolní body na trvalé objektové nebo síťové úložiště a je přístup k nim rozumný? To je nejdůležitější předpoklad bezpečného používání spotu.
• Automatické znovuzískání: platforma automaticky zařadí vaši úlohu zpět do fronty a restartuje ji, když se kapacita vrátí, nebo to musíte řešit sami skriptem? Spravované znovuzarazení činí spot mnohem méně náročným.
• Chování při multi-GPU a multi-uzlu: pokud potřebujete několik GPU současně, ztráta jednoho může zastavit celou úlohu. Zkontrolujte, zda poskytovatel může držet skupinu atomicky, nebo nabízí jen spot pro jednotlivá GPU.
• Granularita účtování: účtování po sekundách nebo minutách se dobře hodí ke spotu, protože platíte jen za čas, kdy jste skutečně běželi před odebráním, místo zaokrouhlování nahoru.

Praktický vzorec, který mnoho týmů používá, je hybridní nastavení: většinu průtokově orientované, checkpointovatelné práce spouštět na spotu, aby se zachytila sleva, a zároveň mít malou on-demand stopu pro vše citlivé na latenci nebo stavové. Toto spojení zachytí většinu úspor, aniž by ohrozilo části pipeline, které skutečně nesnesou přerušení.

Často kladené otázky

Ztratím svou práci, když je spotová GPU instance odebrána?

Ztratíte jakýkoli stav, který existuje pouze na instanci v okamžiku odebrání — včetně neuloženého pokroku a čehokoli na lokálním disku. Neztratíte práci, kterou jste již zapsali na trvalé nebo síťové úložiště. Proto je časté ukládání kontrolních bodů na trvalé úložiště základní disciplínou bezpečného používání spotové kapacity; s dobrým ukládáním ztratíte maximálně pár minut od posledního uložení.

Je hardware GPU odlišný na spotových a on-demand instancích?

Ne. Spotové a on-demand instance využívají stejný fyzický hardware, takže GPU, jeho VRAM, tensorová jádra a propojení jsou identické. Jediný rozdíl je ve smlouvě ohledně dostupnosti a ceny: spot je levnější, ale přerušitelný, zatímco on-demand stojí více a není odebrán bez vašeho souhlasu. Platíte za garantovanou kontinuitu, ne za rychlejší čip.

Kolik lze skutečně ušetřit na spotových instancích oproti on-demand?

Sleva je obvykle značná a je hlavním důvodem pro volbu přerušitelné kapacity, ale přesná hodnota se liší podle poskytovatele, modelu GPU, regionu a aktuální poptávky a neustále se mění. Místo spoléhání se na jedno číslo zkontrolujte živé srovnání výše pro aktuální rozdíl mezi spotem a on-demand na konkrétním GPU, které chcete.

Která pracovní zatížení by nikdy neměla běžet na spotových instancích?

Vyhněte se spotu pro cokoli, co nemůže přežít náhlé zmizení: živé, nízkolatenční inferenční služby za produkční aplikací, interaktivní sezení s neuloženou prací a těsně propojené multi-GPU úlohy, které se nemohou zotavit po ztrátě jednoho uzlu. Pro tyto případy stojí za to zaplatit prémiovou cenu on-demand. Vše, co se ukládá čistě a snáší restart — trénink, doladění, dávkové inferování, rendering a průzkumy — je pro spot vhodné.