Fournisseurs de GPU Cloud avec Instances Spot / Préemptibles

Ce que sont réellement les instances GPU spot et préemptibles

Une instance GPU spot ou préemptible est louée à partir d’un pool de capacité excédentaire d’un fournisseur à un tarif fortement réduit en échange d’une condition critique : le fournisseur peut récupérer la machine à tout moment, généralement avec peu ou pas d’avertissement. Le matériel est identique à la version à la demande du même GPU — la même VRAM, les mêmes cœurs tensoriels, la même interconnexion — mais le contrat concernant sa disponibilité est différent. Vous achetez une puissance de calcul bon marché précisément parce qu’elle est interrompable. Chaque fournisseur dans la liste ci-dessus marqué comme offrant une capacité spot ou préemptible expose ce compromis sous une forme ou une autre, bien que les noms diffèrent : spot, préemptible, interrompable, communautaire ou instances excédentaires décrivent tous la même idée sous-jacente.

La remise existe parce que les centres de données fonctionnent rarement à 100 % d’utilisation. Les GPU inactifs ne rapportent rien, donc les fournisseurs vendent cette capacité inutilisée à une fraction du tarif standard et acceptent qu’ils peuvent devoir la reprendre dès qu’un client payant au tarif plein en a besoin, ou lorsque leurs propres besoins de planification changent. Pour le locataire, cela signifie que les économies annoncées sont réelles, mais qu’elles s’accompagnent d’obligations opérationnelles que vous n’avez pas avec un nœud garanti à la demande.

Pourquoi la tarification interrompable est importante pour les charges de travail réelles

La raison pour laquelle la capacité spot mérite d’être comprise est que la location de GPU est coûteuse, et la remise sur les instances interrompables est souvent suffisamment importante pour changer la viabilité économique de certains projets. Le piège est que toutes les charges de travail ne tolèrent pas d’être interrompues en cours d’exécution. Le facteur décisif est presque toujours la qualité de la gestion des points de contrôle et de la reprise de votre travail.

• Excellente adéquation : longues sessions d’entraînement et d’ajustement fin qui sauvegardent des points de contrôle sur un stockage durable toutes les quelques minutes, grandes tâches d’inférence par lots ou d’embedding, rendu hors ligne, balayages d’hyperparamètres où les essais individuels sont indépendants, et toute chaîne de traitement déjà construite autour de la tolérance aux pannes.
• Mauvaise adéquation : inférence en temps réel ou à faible latence pour une application en direct, sessions de développement interactives où perdre la machine signifie perdre un travail non sauvegardé, et entraînement multi-GPU étroitement synchronisé qui ne peut pas se remettre gracieusement de la disparition d’un nœud.

Le modèle mental est simple : si perdre l’instance ne vous coûte que les minutes écoulées depuis votre dernier point de contrôle, le spot est presque toujours la bonne option. Si le perdre vous coûte une requête, un client ou des heures d’état non sauvegardé, la prime on-demand vous achète une tranquillité d’esprit qui vaut le coût.

Les compromis à considérer

L’interruption est le coût évident, mais ce n’est pas le seul. Lorsque vous comparez les fournisseurs sur ce critère, gardez une vue d’ensemble :

• Comportement de récupération : certains fournisseurs donnent un court préavis de terminaison (souvent quelques minutes) afin que votre travail puisse sauvegarder son état et se terminer proprement ; d’autres peuvent reprendre la machine instantanément. Une période de grâce est extrêmement précieuse car elle vous permet de déclencher un dernier point de contrôle.
• Variabilité de disponibilité : les pools spot fluctuent. Le GPU exact que vous souhaitez au prix affiché peut être indisponible pendant des périodes, et les accélérateurs les plus demandés sont récupérés plus agressivement que les cartes plus anciennes ou moins populaires.
• Stockage qui survit à l’instance : si vos points de contrôle ne résident que sur le disque local de l’instance, une interruption les efface. Le spot ne fonctionne en toute sécurité que lorsque vos données et points de contrôle sont stockés sur un stockage persistant ou en réseau qui survit au nœud.
• Friction de redémarrage : après une récupération, vous devez réacquérir la capacité, retélécharger votre image de conteneur et vos données, et reprendre — donc le temps de démarrage à froid et la taille de l’image affectent votre débit effectif et votre coût.

Ce qu’il faut vérifier avant de louer une capacité spot

Parce que le même mot peut signifier des choses différentes selon les fournisseurs, utilisez la comparaison ci-dessus pour confirmer les spécificités plutôt que de supposer. Avant d’engager une charge de travail sur des instances interrompables, passez en revue cette liste de contrôle :

• Fenêtre de préavis : le fournisseur vous avertit-il avant la récupération, et quelle est la durée de la période de grâce ? Même 30 à 120 secondes changent la manière dont vous concevez votre gestion des points de contrôle.
• Quelle est l’agressivité des récupérations : les machines spot sont-elles reprises uniquement sous une véritable pression de capacité, ou aussi pour un rééquilibrage de routine ? Des récupérations fréquentes et peu pressantes érodent les économies.
• Infrastructure des points de contrôle : pouvez-vous écrire les points de contrôle sur un stockage objet durable ou en réseau à faible coût, et le transfert pour les récupérer est-il raisonnable ? C’est le facteur le plus important pour une utilisation sûre du spot.
• Réacquisition automatique : la plateforme remet-elle automatiquement en file d’attente et redémarre votre travail lorsque la capacité revient, ou devez-vous le programmer vous-même ? Une remise en file d’attente gérée rend le spot beaucoup moins manuel.
• Comportement multi-GPU et multi-nœuds : si vous avez besoin de plusieurs GPU ensemble, en perdre un peut bloquer tout le travail. Vérifiez si le fournisseur peut réserver un groupe de manière atomique ou n’offre que du spot mono-GPU.
• Granularité de facturation : la facturation à la seconde ou à la minute s’accorde bien avec le spot car vous ne payez que pour le temps réellement utilisé avant une récupération, plutôt que d’arrondir à la hausse.

Un schéma pratique adopté par de nombreuses équipes est une configuration hybride : exécuter la majeure partie des travaux orientés débit et checkpointables sur spot pour profiter de la remise, tout en conservant une petite empreinte on-demand pour tout ce qui est sensible à la latence ou à l’état. Ce mélange capture la plupart des économies sans exposer les parties de votre pipeline qui ne peuvent vraiment pas tolérer l’interruption.

Questions fréquemment posées

Vais-je perdre mon travail lorsqu’une instance GPU spot est récupérée ?

Vous perdez tout état qui existe uniquement sur l’instance au moment où elle est récupérée — y compris les progrès non sauvegardés et tout ce qui est sur le disque local uniquement. Vous ne perdez pas le travail que vous avez déjà écrit sur un stockage persistant ou en réseau. C’est pourquoi la sauvegarde fréquente sur un stockage durable est la discipline fondamentale pour utiliser la capacité spot en toute sécurité ; avec une bonne gestion des points de contrôle, vous ne perdez au maximum que les quelques minutes depuis votre dernière sauvegarde.

Le matériel GPU est-il différent sur les instances spot par rapport aux instances à la demande ?

Non. Les instances spot et à la demande utilisent le même matériel physique, donc le GPU, sa VRAM, ses cœurs tensoriels et son interconnexion sont identiques. La seule différence est le contrat concernant la disponibilité et le prix : le spot est moins cher mais interrompable, tandis que l’on-demand coûte plus cher et n’est pas récupéré sans préavis. Vous payez pour une continuité garantie, pas pour un silicium plus rapide.

Combien les instances spot peuvent-elles réellement économiser par rapport à l’on-demand ?

La remise est généralement substantielle et constitue la principale raison de choisir une capacité interrompable, mais le chiffre exact varie selon le fournisseur, le modèle de GPU, la région et la demande actuelle, et évolue constamment. Plutôt que de se fier à un seul chiffre, consultez la comparaison en temps réel ci-dessus pour connaître l’écart actuel entre spot et on-demand sur le GPU spécifique que vous souhaitez.

Quelles charges de travail ne devraient jamais s’exécuter sur des instances spot ?

Évitez le spot pour tout ce qui ne peut pas survivre à une disparition soudaine : inférence en direct à faible latence derrière une application en production, sessions interactives avec travail non sauvegardé, et travaux multi-GPU étroitement couplés qui ne peuvent pas se remettre de la perte d’un nœud. Pour ceux-ci, la prime on-demand en vaut la peine. Tout ce qui sauvegarde proprement et tolère les redémarrages — entraînement, ajustement fin, inférence par lots, rendu et balayages — convient parfaitement au spot.