Cloud-GPU-Anbieter mit Spot- / vorübergehend verfügbaren Instanzen

Was Spot- und vorzeitig beendbare GPU-Instanzen eigentlich sind

Eine Spot- oder vorzeitig beendbare GPU-Instanz wird aus dem Pool ungenutzter Kapazitäten eines Anbieters zu einem stark reduzierten Preis gemietet – unter einer entscheidenden Bedingung: Der Anbieter kann die Maschine jederzeit zurückfordern, meist mit wenig oder gar keiner Vorwarnung. Die Hardware ist identisch mit der On-Demand-Version derselben GPU – derselbe VRAM, dieselben Tensor-Kerne, dieselbe Verbindung – aber der Vertrag bezüglich der Verfügbarkeit ist anders. Sie kaufen Rechenleistung, die gerade deshalb günstig ist, weil sie unterbrechbar ist. Jeder Anbieter in der obigen Liste, der Spot- oder vorzeitig beendbare Kapazitäten anbietet, stellt diesen Kompromiss in irgendeiner Form dar, auch wenn die Bezeichnungen variieren: Spot, vorzeitig beendbar, unterbrechbar, Community- oder Überschuss-Instanzen beschreiben alle dasselbe Grundprinzip.

Der Rabatt besteht, weil Rechenzentren selten mit 100 % Auslastung laufen. Leerlaufende GPUs erwirtschaften keinen Gewinn, daher verkaufen Anbieter diese freie Kapazität zu einem Bruchteil des Standardpreises und akzeptieren, dass sie sie zurückfordern müssen, sobald ein Vollpreiskunde sie benötigt oder sich ihre eigenen Planungsbedürfnisse ändern. Für den Mieter bedeutet das, dass die angegebenen Einsparungen real sind, aber mit betrieblichen Verpflichtungen einhergehen, die bei einer garantierten On-Demand-Instanz nicht bestehen.

Warum unterbrechbare Preise für reale Workloads wichtig sind

Der Grund, warum Spot-Kapazität wichtig zu verstehen ist, liegt darin, dass GPU-Miete teuer ist und der Rabatt auf unterbrechbare Instanzen oft groß genug ist, um zu beeinflussen, welche Projekte wirtschaftlich sinnvoll sind. Der Haken ist, dass nicht jede Arbeitslast es toleriert, mitten im Lauf beendet zu werden. Der entscheidende Faktor ist fast immer wie gut Ihr Job Checkpoints setzt und wieder aufnimmt.

• Ausgezeichnet geeignet: lange Trainings- und Feinabstimmungsdurchläufe, die alle paar Minuten Checkpoints in langlebigen Speicher schreiben, große Batch-Inferenz- oder Embedding-Jobs, Offline-Rendering, Hyperparameter-Sweeps, bei denen einzelne Versuche unabhängig sind, und jede Pipeline, die bereits auf Fehlertoleranz ausgelegt ist.
• Schlecht geeignet: Echtzeit- oder latenzkritische Inferenz für eine Live-Anwendung, interaktive Entwicklungssitzungen, bei denen der Verlust der Instanz ungespeicherte Arbeit bedeutet, und eng synchronisiertes Multi-GPU-Training, das nicht elegant wiederherstellen kann, wenn ein Knoten ausfällt.

Das mentale Modell ist einfach: Wenn der Verlust der Instanz Sie nur die Minuten seit Ihrem letzten Checkpoint kostet, ist Spot fast immer die richtige Wahl. Wenn der Verlust Sie eine Anfrage, einen Kunden oder Stunden ungespeicherten Zustands kostet, ist die On-Demand-Prämie die beruhigende Sicherheit, für die es sich zu zahlen lohnt.

Die abzuwägenden Kompromisse

Unterbrechung ist die offensichtlichste Kostenquelle, aber nicht die einzige. Wenn Sie Anbieter in dieser Hinsicht vergleichen, behalten Sie das Gesamtbild im Auge:

• Verhalten bei Rückforderung: Einige Anbieter geben eine kurze Kündigungsfrist (oft ein paar Minuten), damit Ihr Job Zustand speichern und sauber beenden kann; andere können die Maschine sofort zurückziehen. Eine Schonfrist ist enorm wertvoll, weil sie Ihnen erlaubt, einen letzten Checkpoint auszulösen.
• Verfügbarkeitsschwankungen: Spot-Pools schwanken. Die exakt gewünschte GPU zum angezeigten Preis kann zeitweise nicht verfügbar sein, und die gefragtesten Beschleuniger werden aggressiver zurückgefordert als ältere oder weniger populäre Karten.
• Speicher, der die Instanz überdauert: Wenn Ihre Checkpoints nur auf der lokalen Festplatte der Instanz liegen, werden sie bei einer Unterbrechung gelöscht. Spot funktioniert nur sicher, wenn Ihre Daten und Checkpoints auf persistentem oder Netzwerkspeicher liegen, der den Knoten überlebt.
• Neustartaufwand: Nach einer Rückforderung müssen Sie Kapazität neu erwerben, Ihr Container-Image und Daten erneut laden und fortsetzen – daher beeinflussen Kaltstartzeit und Imagegröße Ihren effektiven Durchsatz und Ihre Kosten.

Was vor der Anmietung von Spot-Kapazität zu prüfen ist

Da dasselbe Wort bei verschiedenen Anbietern unterschiedliche Bedeutungen haben kann, verwenden Sie den obigen Vergleich, um die Details zu bestätigen, statt Annahmen zu treffen. Bevor Sie eine Arbeitslast auf unterbrechbare Instanzen legen, gehen Sie diese Checkliste durch:

• Benachrichtigungszeitraum: Warnt der Anbieter vor der Rückforderung und wie lang ist die Schonfrist? Schon 30–120 Sekunden verändern, wie Sie Ihr Checkpointing gestalten.
• Wie aggressiv sind Rückforderungen: Werden Spot-Maschinen nur bei echtem Kapazitätsdruck zurückgenommen oder auch für routinemäßiges Ausbalancieren? Häufige, niedrigdruckige Rückforderungen schmälern die Ersparnisse.
• Checkpoint-Infrastruktur: Können Sie Checkpoints günstig in langlebigen Objekt- oder Netzwerkspeicher schreiben, und sind die Ausgänge zum Abrufen angemessen? Dies ist der wichtigste Faktor für sicheren Spot-Einsatz.
• Automatische Wiederaufnahme: Startet die Plattform Ihren Job automatisch neu, wenn Kapazität zurückkehrt, oder müssen Sie das selbst skripten? Automatisches Wiederanstellen macht Spot viel weniger aufwendig.
• Verhalten bei Multi-GPU und Multi-Node: Wenn Sie mehrere GPUs zusammen benötigen, kann der Verlust einer Instanz den gesamten Job blockieren. Prüfen Sie, ob der Anbieter eine Gruppe atomar halten kann oder nur einzelne GPUs als Spot anbietet.
• Abrechnungsgranularität: Abrechnung pro Sekunde oder Minute passt gut zu Spot, weil Sie nur für die tatsächlich gelaufene Zeit vor einer Rückforderung zahlen, statt aufzurunden.

Ein praktisches Muster, das viele Teams anwenden, ist ein Hybrid-Setup: den Großteil durchsatzorientierter, checkpointfähiger Arbeit auf Spot ausführen, um den Rabatt zu nutzen, während eine kleine On-Demand-Kapazität für latenzkritische oder zustandsbehaftete Aufgaben vorgehalten wird. Diese Mischung fängt die meisten Einsparungen ein, ohne die Teile Ihrer Pipeline zu gefährden, die Unterbrechungen wirklich nicht tolerieren können.

Häufig gestellte Fragen

Verliere ich meine Arbeit, wenn eine Spot-GPU-Instanz zurückgefordert wird?

Sie verlieren jeden Zustand, der nur auf der Instanz zum Zeitpunkt der Rückforderung existiert – einschließlich ungespeichertem Fortschritt und allem auf der lokalen Festplatte. Arbeit, die Sie bereits in langlebigen oder Netzwerkspeicher geschrieben haben, geht nicht verloren. Deshalb ist häufiges Checkpointing in langlebigen Speicher die Kernvoraussetzung für sicheren Spot-Einsatz; mit gutem Checkpointing verlieren Sie höchstens die wenigen Minuten seit Ihrem letzten Speichern.

Ist die GPU-Hardware bei Spot- und On-Demand-Instanzen unterschiedlich?

Nein. Spot- und On-Demand-Instanzen stammen aus derselben physischen Hardware, daher sind GPU, VRAM, Tensor-Kerne und Verbindung identisch. Der einzige Unterschied ist der Vertrag bezüglich Verfügbarkeit und Preis: Spot ist günstiger, aber unterbrechbar, während On-Demand teurer ist und nicht einfach zurückgefordert wird. Sie bezahlen für garantierte Kontinuität, nicht für schnellere Hardware.

Wie viel kann man mit Spot-Instanzen im Vergleich zu On-Demand tatsächlich sparen?

Der Rabatt ist typischerweise erheblich und der Hauptgrund für die Wahl unterbrechbarer Kapazität, aber die genaue Höhe variiert je nach Anbieter, GPU-Modell, Region und aktueller Nachfrage und ändert sich ständig. Statt sich auf eine einzelne Zahl zu verlassen, prüfen Sie den aktuellen Vergleich oben für die spezifische GPU, die Sie möchten.

Welche Workloads sollten niemals auf Spot-Instanzen laufen?

Vermeiden Sie Spot für alles, was ein plötzlichen Ausfall nicht überlebt: Live-, latenzkritische Inferenz hinter einer Produktionsanwendung, interaktive Sitzungen mit ungespeicherter Arbeit und eng gekoppelte Multi-GPU-Jobs, die nicht wiederherstellen können, wenn ein Knoten verloren geht. Für diese Fälle lohnt sich die On-Demand-Prämie. Alles, was sauber checkpointet und Neustarts toleriert – Training, Feinabstimmung, Batch-Inferenz, Rendering und Sweeps – ist gut für Spot geeignet.