Cloud-GPU-Anbieter mit persistentem Speicher

Was persistenter Speicher bedeutet, wenn Sie eine Cloud-GPU mieten

Standardmäßig stellt eine gemietete GPU-Instanz Ihnen eine funktionierende Festplatte zur Verfügung, die mit der Instanz lebt und stirbt. Sobald Sie die Maschine stoppen, zerstören oder vorzeitig entfernt werden, wird die lokale Festplatte gelöscht und die Daten sind verloren. Persistenter Speicher durchbricht diese Kopplung: Es handelt sich um ein Speicher-Volume, dessen Lebensdauer unabhängig von einer einzelnen GPU-Instanz ist, sodass Ihre Datensätze, Modell-Checkpoints, Conda-Umgebungen und zwischengespeicherte Gewichte einen Shutdown überleben und an die nächste Maschine, die Sie starten, wieder angehängt werden können. Die Anbieter im obigen Vergleich bieten alle eine Form davon an, aber die Implementierungen unterscheiden sich so stark, dass „ja“ nur der Anfang der Antwort ist.

In der Praxis zeigt sich persistenter Speicher in zwei Hauptformen. Die erste ist ein Netzwerk-Volume (Block- oder Dateisystemspeicher), das Sie über das interne Netzwerk des Anbieters einbinden und an jeden GPU-Knoten anhängen können, den Sie starten. Die zweite ist Objektspeicher (S3-kompatible Buckets), von dem Sie beim Jobstart Daten abrufen und Ergebnisse zurückschieben. Einige Anbieter halten auch ein persistentes Home-Verzeichnis auf einem schnellen lokalen NVMe-Pool, das vom Compute-Lebenszyklus entkoppelt ist. Jede Variante verhält sich sehr unterschiedlich hinsichtlich Durchsatz, Latenz und wie Sie sie in eine Trainingsschleife einbinden.

Warum es für echte GPU-Workflows wichtig ist

Der Grund, warum persistenter Speicher wichtig ist, liegt darin, dass GPU-Zeit die teure Ressource ist und Sie diese nicht mit dem erneuten Herunterladen und Vorbereiten von Daten verschwenden wollen. Konkret verändert es diese Workflows:

• Lange Trainings- und Fine-Tuning-Läufe schreiben alle paar hundert Schritte Checkpoints. Wenn diese Checkpoints nur auf einem flüchtigen Datenträger liegen, bedeutet ein abgestürzter oder vorzeitig entfernter Knoten einen Neustart von Null. Persistenter Speicher ermöglicht es Ihnen, vom letzten Checkpoint auf einer frischen GPU weiterzumachen.
• Spot- und unterbrechbare Instanzen werden wirklich nutzbar. Die gesamte Ökonomie günstiger vorzeitig entfernbarer GPUs beruht darauf, den Knoten verlieren zu können, ohne die Arbeit zu verlieren – das gilt nur, wenn Ihr Zustand auf einem Volume lebt, das die Instanz überdauert.
• Große Datensätze (mehrere hundert GB an Bildern, Videos oder Token-Korpora) sind schmerzhaft bei jedem Start neu zu laden. Ein persistentes Volume hält die vorbereiteten, geshardeten Daten, sodass jede neue Sitzung in Sekunden startet und nicht erst nach einem langen Kopiervorgang.
• Iterative Entwicklung profitiert von einem stabilen Home-Verzeichnis: Ihre Umgebung, installierte Pakete, zwischengespeicherte Hugging Face-Gewichte und Notebooks sind morgen noch da, ohne dass Sie alles aus einem Container-Image neu aufbauen müssen.
• Inference-Serving kann Modellgewichte auf dem angehängten Speicher warmhalten, sodass eine hochskalierte Replik schnell lädt, anstatt beim Kaltstart mehrere zehn GB aus einem entfernten Bucket zu ziehen.

Die abzuwägenden Kompromisse

Persistenter Speicher ist nicht kosten- oder reibungsfrei, und die Unterschiede zwischen Anbietern liegen meist in diesen Kompromissen und nicht darin, ob die Funktion überhaupt existiert.

• Sie zahlen auch im Leerlauf dafür. Die Compute-Abrechnung stoppt, wenn Sie eine GPU herunterfahren, aber ein persistentes Volume wird weiterhin für Kapazität (typischerweise pro GB-Monat) berechnet, egal ob eine GPU angehängt ist oder nicht. Ein großes Volume, das zwischen Projekten liegen bleibt, wird zu einer stillen wiederkehrenden Gebühr.
• Region- und Zonenbindung. Ein Netzwerk-Volume lebt meist in einer Region oder einem Rechenzentrum. Wenn GPUs des gewünschten Typs nur in einer anderen Region verfügbar sind, können Sie Ihr Volume dort möglicherweise nicht anhängen – und eine Migration kann Ausgehgebühren oder Kopierzeit verursachen.
• Durchsatz und Latenz variieren stark. Lokaler NVMe-Speicher kann Gigabyte pro Sekunde liefern; ein Netzwerk-Dateisystem kann deutlich langsamer sein und eine datenhungrige Trainingsschleife ausbremsen. Für datenintensive Pipelines ist diese Lücke wichtiger als die Kapazität.
• Gleichzeitigkeitseinschränkungen. Einige Block-Volumes können nur an eine Instanz gleichzeitig angehängt werden, während geteilte Dateisysteme und Objektspeicher viele Leser zulassen. Multi-Node-Training benötigt in der Regel ein geteiltes Dateisystem oder Objektspeicher, nicht ein Blockgerät mit Einzelanbindung.
• Ausgeh- und Transfergebühren. Das Lesen innerhalb derselben Provider-Region ist meist günstig, aber das Herausziehen von Daten auf Ihren Laptop oder eine andere Cloud kann Ausgehgebühren verursachen, die die Speicherkosten bei weitem übersteigen.

Was Sie im obigen Vergleich prüfen sollten

Wenn Sie die obige Liste als Shortlist von Anbietern lesen, die persistenten Speicher unterstützen, schauen Sie sich die Details an, statt „ja“ als einheitlich zu betrachten:

1. Volumentyp und Durchsatz – ist es Block-, Netzwerk-Dateisystem- oder Objektspeicher, und welche realen Lese-/Schreibbandbreiten werden unter Trainingslast erreicht?
2. Preismodell – pro GB-Monat für das Volume und ob Sie weiter zahlen, wenn keine GPU angehängt ist.
3. Regionale Bindung – kann das Volume an die GPU-Typen und Regionen angehängt werden, die Sie tatsächlich brauchen, inklusive Spot-Kapazität?
4. Kapazität und Limits – maximale Volume-Größe, Snapshot-Unterstützung und ob es über mehrere Knoten geteilt werden kann.
5. Ausgehbedingungen – was es kostet, Daten herauszubewegen, da das oft die Gesamtausgaben mehr bestimmt als der Speicherposten.

Passen Sie diese Antworten an Ihren Workflow an: Ein einzelnes langes Fine-Tuning benötigt zuverlässige Checkpoint-Persistenz und Resume; eine datenintensive Pipeline will rohen Durchsatz; eine serverlose oder automatisch skalierende Inferenz-Flotte will schnelle geteilte Lesezugriffe auf warme Gewichte. Der richtige Anbieter in der Tabelle ist der, dessen Form des persistenten Speichers zu Ihrem dominanten Muster passt.

Häufig gestellte Fragen

Behält persistenter Speicher meine Daten, wenn ich die GPU-Instanz stoppe?

Ja – genau das ist sein Zweck. Ein persistentes Volume ist vom Compute-Instance entkoppelt, sodass das Stoppen oder Zerstören des GPU-Knotens das Volume und dessen Inhalt intakt lässt. Sie hängen es an die nächste Instanz an, die Sie starten. Denken Sie nur daran, dass das Volume selbst normalerweise weiterhin Kapazitätsgebühren verursacht, solange es existiert, auch wenn keine GPU läuft.

Ist persistenter Speicher im GPU-Mietpreis enthalten?

In der Regel nicht. Der stündliche GPU-Preis deckt Compute und eine Basis-ephemere Festplatte ab, während persistente Volumes separat nach Kapazität, typischerweise pro GB pro Monat, abgerechnet werden. Behandeln Sie Speicher immer als eigenen Posten bei der Kostenschätzung und prüfen Sie den aktuellen Vergleich oben, wie jeder Anbieter ihn preislich handhabt.

Kann ich persistenten Speicher mit günstigen Spot- oder unterbrechbaren GPUs verwenden?

Das ist einer der besten Gründe, ihn zu wollen. Weil das Volume jede einzelne Instanz überlebt, können Sie von einer Spot-Instanz vorzeitig entfernt werden, ohne etwas zu verlieren, und vom letzten Checkpoint auf einer neuen Maschine weitermachen. Bestätigen Sie, dass der Anbieter das Anhängen des Volumes an Spot-Kapazität in derselben Region erlaubt, in der diese GPUs verfügbar sind.

Was ist der Unterschied zwischen persistentem Speicher und Objektspeicher wie S3?

Objektspeicher ist eine Möglichkeit, Daten persistent zu machen, aber Sie lesen und schreiben ihn als Buckets und Objekte über eine API, statt ihn als lokale Festplatte einzubinden. Ein persistentes Block- oder Dateisystem-Volume verhält sich wie ein angehängtes Laufwerk, das Ihr Code direkt liest. Objektspeicher skaliert riesig und ist über viele Knoten teilbar; eingehängte Volumes bieten meist geringere Latenz für eine aktive Trainingsschleife. Viele Workflows nutzen beide – Buckets für kalte Archive, ein eingehängtes Volume für den aktiven Arbeitssatz.