Fornitori di GPU Cloud con Istanza Spot / Preemptible

Cosa sono realmente le istanze GPU spot e preemptible

Un’istanza GPU spot o preemptible viene noleggiata dal pool di capacità inutilizzata di un provider a un prezzo fortemente scontato in cambio di una condizione critica: il provider può riprendere la macchina in qualsiasi momento, solitamente con poco o nessun preavviso. L’hardware è identico alla versione on-demand della stessa GPU — stessa VRAM, stessi tensor core, stesso interconnect — ma il contratto sulla sua disponibilità è diverso. Si acquista potenza di calcolo economica proprio perché è interrompibile. Ogni provider nella lista sopra indicato come fornitore di capacità spot o preemptible espone questo compromesso in qualche forma, anche se i nomi variano: spot, preemptible, interruptible, community o surplus instances descrivono tutti la stessa idea di base.

Lo sconto esiste perché i data center raramente operano al 100% della capacità. Le GPU inattive non generano guadagni, quindi i provider vendono quella capacità inutilizzata a una frazione della tariffa standard e accettano che potrebbero doverla riprendere nel momento in cui un cliente a prezzo pieno la richiede, o quando cambiano le loro esigenze di pianificazione. Per il locatario, ciò significa che i risparmi indicati sono reali, ma comportano obblighi operativi che non si hanno su un nodo garantito on-demand.

Perché il prezzo interruptible è importante per carichi di lavoro reali

Il motivo per cui vale la pena comprendere la capacità spot è che il noleggio di GPU è costoso, e lo sconto sulle istanze interruptible è spesso abbastanza consistente da cambiare quali progetti siano economicamente sostenibili. Il problema è che non tutti i carichi di lavoro tollerano di essere interrotti a metà esecuzione. Il fattore decisivo è quasi sempre quanto bene il suo lavoro esegue checkpoint e riprende.

• Ottima scelta: lunghe sessioni di training e fine-tuning che salvano checkpoint su storage durevole ogni pochi minuti, grandi lavori di batch inference o embedding, rendering offline, sweep di iperparametri dove le singole prove sono indipendenti, e qualsiasi pipeline già costruita attorno alla tolleranza ai guasti.
• Scelta inadeguata: inferenza in tempo reale o a bassa latenza che serve un’applicazione live, sessioni di sviluppo interattive dove perdere la macchina significa perdere lavoro non salvato, e training multi-GPU strettamente sincronizzato che non può recuperare in modo elegante quando un nodo scompare.

Il modello mentale è semplice: se perdere l’istanza comporta solo la perdita dei minuti trascorsi dall’ultimo checkpoint, lo spot è quasi sempre la scelta giusta. Se perderla significa perdere una richiesta, un cliente o ore di stato non salvato, il premio on-demand compra una tranquillità che vale la pena pagare.

I compromessi da valutare

L’interruzione è il costo ovvio, ma non è l’unico. Quando si confrontano i provider su questa dimensione, tenere presente il quadro completo:

• Comportamento di ripresa: alcuni provider danno un breve preavviso di terminazione (spesso un paio di minuti) così che il lavoro possa salvare lo stato ed uscire pulitamente; altri possono interrompere la macchina all’istante. Un periodo di grazia è estremamente prezioso perché consente di attivare un checkpoint finale.
• Variazione di disponibilità: i pool spot fluttuano. La GPU esatta che si desidera al prezzo visto può non essere disponibile per periodi, e gli acceleratori più richiesti vengono ripresi più aggressivamente rispetto a schede più vecchie o meno popolari.
• Storage che sopravvive all’istanza: se i checkpoint risiedono solo sul disco locale dell’istanza, un’interruzione li cancella. Lo spot funziona in sicurezza solo quando i dati e i checkpoint sono su storage persistente o di rete che sopravvive al nodo.
• Attrito al riavvio: dopo una ripresa bisogna riacquisire capacità, riscaricare l’immagine del container e i dati, e riprendere — quindi il tempo di avvio a freddo e la dimensione dell’immagine influenzano la produttività effettiva e il costo.

Cosa verificare prima di noleggiare capacità spot

Poiché la stessa parola può significare cose diverse tra i provider, usi il confronto sopra per confermare i dettagli invece di presumere. Prima di assegnare un carico di lavoro a istanze interruptible, segua questa lista di controllo:

• Finestra di preavviso: il provider avverte prima di riprendere, e quanto dura il periodo di grazia? Anche 30–120 secondi cambiano il modo in cui si progetta il checkpointing.
• Quanto sono aggressive le riprese: le macchine spot vengono riprese solo in caso di reale pressione sulla capacità, o anche per riequilibri di routine? Riprese frequenti e a bassa pressione erodono i risparmi.
• Infrastruttura per checkpoint: è possibile scrivere checkpoint su storage oggetto o di rete durevole a basso costo, e l’egress per recuperarli è ragionevole? Questo è il fattore più importante per un uso sicuro dello spot.
• Riacquisizione automatica: la piattaforma mette automaticamente in coda e riavvia il lavoro quando la capacità ritorna, o deve essere gestito manualmente? La riacquisizione gestita rende lo spot molto meno impegnativo.
• Comportamento multi-GPU e multi-nodo: se servono più GPU insieme, perderne una può bloccare tutto il lavoro. Verifichi se il provider può mantenere un gruppo atomicamente o offre solo spot per GPU singole.
• Granularità di fatturazione: la fatturazione al secondo o al minuto si abbina bene allo spot perché si paga solo per il tempo effettivamente utilizzato prima della ripresa, senza arrotondamenti.

Un modello pratico adottato da molti team è un setup ibrido: eseguire la maggior parte del lavoro orientato al throughput e checkpointabile su spot per catturare lo sconto, mantenendo una piccola presenza on-demand per tutto ciò che è sensibile alla latenza o con stato. Questa combinazione cattura la maggior parte dei risparmi senza esporre le parti della pipeline che realmente non tollerano interruzioni.

Domande frequenti

Perdo il lavoro quando un’istanza GPU spot viene ripresa?

Si perde qualsiasi stato che esiste solo sull’istanza al momento della ripresa — inclusi progressi non salvati e tutto ciò che è su disco locale. Non si perde il lavoro già scritto su storage persistente o di rete. Per questo il checkpointing frequente su storage durevole è la disciplina fondamentale per usare lo spot in sicurezza; con un buon checkpointing si perde al massimo qualche minuto dall’ultimo salvataggio.

L’hardware GPU è diverso tra istanze spot e on-demand?

No. Le istanze spot e on-demand utilizzano lo stesso hardware fisico, quindi GPU, VRAM, tensor core e interconnect sono identici. L’unica differenza è il contratto su disponibilità e prezzo: lo spot è più economico ma interrompibile, mentre l’on-demand costa di più e non viene ripreso. Si paga per la continuità garantita, non per un silicio più veloce.

Quanto si può risparmiare effettivamente con le istanze spot rispetto a on-demand?

Lo sconto è tipicamente consistente ed è la ragione principale per scegliere capacità interruptible, ma la cifra esatta varia per provider, modello di GPU, regione e domanda attuale, ed è in continua evoluzione. Invece di affidarsi a un singolo numero, consulti il confronto live sopra per la differenza attuale tra spot e on-demand sulla GPU specifica desiderata.

Quali carichi di lavoro non dovrebbero mai essere eseguiti su istanze spot?

Evitare lo spot per tutto ciò che non può sopravvivere a una scomparsa improvvisa: inferenza live a bassa latenza dietro un’applicazione di produzione, sessioni interattive con lavoro non salvato, e lavori multi-GPU strettamente accoppiati che non possono recuperare quando un nodo viene perso. Per questi, il premio on-demand vale la pena. Tutto ciò che fa checkpoint puliti e tollera riavvii — training, fine-tuning, batch inference, rendering e sweep — è adatto allo spot.