Cloud GPU-aanbieders met Spot / Preëmptieve Instances

Wat spot- en preëmptieve GPU-instanties eigenlijk zijn

Een spot- of preëmptieve GPU-instantie wordt gehuurd uit de pool van overtollige capaciteit van een aanbieder tegen een flinke korting, in ruil voor één cruciale voorwaarde: de aanbieder kan de machine op elk moment terugvorderen, meestal met weinig of geen waarschuwing. De hardware is identiek aan de on-demand versie van dezelfde GPU — hetzelfde VRAM, dezelfde tensor cores, dezelfde interconnect — maar het contract rondom de beschikbaarheid is anders. U koopt rekenkracht die goedkoop is juist omdat deze onderbreekbaar is. Elke aanbieder in de bovenstaande lijst die spot- of preëmptieve capaciteit aanbiedt, brengt deze afweging in een bepaalde vorm naar voren, hoewel de namen verschillen: spot, preëmptief, onderbreekbaar, community- of surplus-instanties beschrijven allemaal hetzelfde onderliggende idee.

De korting bestaat omdat datacenters zelden op 100% capaciteit draaien. Idle GPU’s verdienen niets, dus verkopen aanbieders die vrije capaciteit tegen een fractie van het standaardtarief en accepteren dat ze deze moeten terugnemen zodra een klant die de volle prijs betaalt het wil, of wanneer hun eigen planningsbehoeften veranderen. Voor de huurder betekent dit dat de genoemde besparingen reëel zijn, maar dat ze gepaard gaan met operationele verplichtingen die u niet heeft bij een gegarandeerde on-demand node.

Waarom onderbreekbare prijzen belangrijk zijn voor echte workloads

De reden dat spot-capaciteit het waard is om te begrijpen, is dat het huren van GPU’s duur is en de korting op onderbreekbare instanties vaak groot genoeg is om te bepalen welke projecten economisch haalbaar zijn. De vangst is dat niet elke workload het tolereert om halverwege te worden beëindigd. De doorslaggevende factor is bijna altijd hoe goed uw taak checkpoints maakt en hervat.

• Uitstekende match: lange trainings- en fijnstuur-runs die elke paar minuten checkpoints opslaan naar duurzame opslag, grote batch-inferentie- of embedding-taken, offline rendering, hyperparameter sweeps waarbij individuele proeven onafhankelijk zijn, en elke pijplijn die al is gebouwd rond fouttolerantie.
• Slechte match: realtime of lage-latentie inferentie voor een live applicatie, interactieve ontwikkelsessies waarbij het verliezen van de machine betekent dat niet-opgeslagen werk verloren gaat, en strak gesynchroniseerde multi-GPU training die niet soepel kan herstellen als één node verdwijnt.

Het mentale model is eenvoudig: als het verliezen van de instantie u alleen de minuten sinds uw laatste checkpoint kost, is spot bijna altijd de juiste keuze. Als het verliezen u een verzoek, een klant of uren niet-opgeslagen status kost, is de on-demand premie het waard voor gemoedsrust.

De afwegingen om te wegen

Onderbreking is de voor de hand liggende kost, maar niet de enige. Wanneer u aanbieders op dit punt vergelijkt, houdt u het volledige plaatje in gedachten:

• Terugvorderingsgedrag: sommige aanbieders geven een korte beëindigingsmelding (vaak een paar minuten) zodat uw taak status kan opslaan en netjes kan afsluiten; anderen kunnen de machine direct terugnemen. Een respijtperiode is enorm waardevol omdat het u in staat stelt een laatste checkpoint te triggeren.
• Beschikbaarheidsvariatie: spot-pools fluctueren. De exacte GPU die u wilt tegen de prijs die u zag, kan tijdelijk niet beschikbaar zijn, en de meest gevraagde accelerators worden agressiever teruggevorderd dan oudere of minder populaire kaarten.
• Opslag die langer meegaat dan de instantie: als uw checkpoints alleen op de lokale schijf van de instantie staan, worden ze bij een onderbreking gewist. Spot werkt alleen veilig als uw data en checkpoints op persistente of netwerkopslag staan die de node overleeft.
• Herstartwrijving: na een terugvordering moet u capaciteit opnieuw verkrijgen, uw containerimage en data opnieuw ophalen en hervatten — dus koude starttijd en afbeeldingsgrootte beïnvloeden uw effectieve doorvoer en kosten.

Wat te controleren voordat u spot-capaciteit huurt

Omdat hetzelfde woord bij verschillende aanbieders verschillende betekenissen kan hebben, gebruikt u de bovenstaande vergelijking om de details te bevestigen in plaats van aan te nemen. Voordat u een workload aan onderbreekbare instanties toevertrouwt, doorloopt u deze checklist:

• Waarschuwingsperiode: waarschuwt de aanbieder u voordat hij terugvordert, en hoe lang is de respijtperiode? Zelfs 30–120 seconden veranderen hoe u uw checkpointing ontwerpt.
• Hoe agressief zijn terugvorderingen: worden spot-machines alleen teruggenomen bij echte capaciteitsdruk, of ook voor routinematige herbalancering? Frequente, lage-druk terugvorderingen ondermijnen de besparingen.
• Checkpoint-infrastructuur: kunt u checkpoints goedkoop schrijven naar duurzame object- of netwerkopslag, en is het haalbaar om ze terug te halen? Dit is de belangrijkste voorwaarde voor veilig gebruik van spot.
• Automatisch opnieuw verkrijgen: zet het platform uw taak automatisch opnieuw in de wachtrij en start het opnieuw wanneer capaciteit terugkomt, of moet u dat zelf scripten? Beheerde herplaatsing maakt spot veel minder handmatig.
• Multi-GPU en multi-node gedrag: als u meerdere GPU’s tegelijk nodig heeft, kan het verliezen van één de hele taak stilzetten. Controleer of de aanbieder een groep atomair kan vasthouden of alleen single-GPU spot aanbiedt.
• Facturatiegranulariteit: per seconde of per minuut factureren past goed bij spot omdat u alleen betaalt voor de tijd die u daadwerkelijk draaide vóór een terugvordering, in plaats van naar boven af te ronden.

Een praktisch patroon dat veel teams toepassen is een hybride opstelling: voer het grootste deel van doorvoergeoriënteerd, checkpointbaar werk uit op spot om de korting te benutten, terwijl u een kleine on-demand footprint behoudt voor alles wat latentiegevoelig of statusgevoelig is. Die mix vangt het grootste deel van de besparingen zonder de delen van uw pijplijn bloot te stellen die echt geen onderbreking kunnen verdragen.

Veelgestelde vragen

Verlies ik mijn werk als een spot GPU-instantie wordt teruggevorderd?

U verliest elke status die alleen op de instantie bestaat op het moment dat deze wordt teruggevorderd — inclusief niet-opgeslagen voortgang en alles op lokale schijf. U verliest geen werk dat u al naar persistente of netwerkopslag hebt geschreven. Daarom is frequent checkpointen naar duurzame opslag de kerndiscipline voor veilig gebruik van spot-capaciteit; met goed checkpointen verliest u hooguit de paar minuten sinds uw laatste opslag.

Is de GPU-hardware anders op spot- versus on-demand instanties?

Nee. Spot- en on-demand instanties gebruiken dezelfde fysieke hardware, dus de GPU, het VRAM, de tensor cores en de interconnect zijn identiek. Het enige verschil is het contract rondom beschikbaarheid en prijs: spot is goedkoper maar onderbreekbaar, terwijl on-demand meer kost en niet zomaar wordt teruggenomen. U betaalt voor gegarandeerde continuïteit, niet voor snellere siliconen.

Hoeveel kan spot-instanties eigenlijk besparen vergeleken met on-demand?

De korting is meestal aanzienlijk en is de belangrijkste reden om voor onderbreekbare capaciteit te kiezen, maar het exacte bedrag varieert per aanbieder, GPU-model, regio en huidige vraag, en verandert continu. In plaats van op één getal te vertrouwen, controleert u de live vergelijking hierboven voor het actuele verschil tussen spot en on-demand voor de specifieke GPU die u wilt.

Welke workloads mogen nooit op spot-instanties draaien?

Vermijd spot voor alles wat een plotselinge verdwijning niet kan overleven: live, lage-latentie inferentie achter een productieapplicatie, interactieve sessies met niet-opgeslagen werk, en strak gekoppelde multi-GPU taken die niet kunnen herstellen als één node verloren gaat. Voor die gevallen is de on-demand premie het waard. Alles wat netjes checkpoints maakt en herstarts tolereert — training, fijnsturing, batch-inferentie, rendering en sweeps — is goed geschikt voor spot.