Beste Cloud-GPU-Anbieter mit NVIDIA H100

Was die NVIDIA H100 tatsächlich ist

Die H100 ist NVIDIAs Rechenzentrum-Beschleuniger, basierend auf der Hopper-Architektur, der Generation zwischen der älteren Ampere A100 und den neueren Blackwell-Modellen. Es ist die GPU, zu der die meisten Teams greifen, wenn sie ernsthaft große Modelle trainieren oder eine hohe Durchsatzrate bei der Inferenz benötigen, ohne auf Consumer-Karten zurückzugreifen. Wenn Sie eine H100-Instanz aus dem obigen Vergleich mieten, mieten Sie einen speziell für KI entwickelten Beschleuniger und keine umfunktionierte Gaming-GPU, was sowohl die Möglichkeiten als auch die Kosten beeinflusst.

Die wichtigsten Hardware-Eigenschaften, die für Mieter relevant sind:

• Speicher: Die SXM5-Variante ist mit 80 GB HBM3 ausgestattet, während die PCIe-Variante HBM2e verwendet, ebenfalls mit 80 GB bei der Mainstream-Version. Eine spätere Aktualisierung, die H100 NVL, erhöht die Kapazität pro Karte. Der große, schnelle HBM-Speicher ist der Hauptgrund, diese Karte gegenüber GDDR6-basierten Optionen zu wählen.
• Speicherbandbreite: HBM3 auf der SXM5-Karte liefert etwa 3 TB/s, weit über dem, was Consumer-GDDR6/GDDR6X-Karten erreichen. Die Bandbreite, nicht die reinen FLOPs, sorgt dafür, dass große Transformer-Schichten ausreichend versorgt werden.
• Tensor-Kerne und Präzisionen: Die Tensor-Kerne der vierten Generation unterstützen FP16, BF16, TF32, INT8 und — neu bei Hopper — FP8. FP8 ist das Hauptmerkmal für moderne LLM-Workloads, das die Durchsatzrate gegenüber FP16 bei unterstützten Kernen etwa verdoppelt und dabei mit der richtigen Skalierung eine akzeptable Genauigkeit bewahrt.
• Transformer Engine: Hopper kombiniert FP8-Hardware mit Software, die die Präzision pro Schicht dynamisch verwaltet, weshalb die H100-Durchsatzrate beim Training und der Inferenz von Transformern das vorherige Modell auf demselben Modell deutlich übertrifft.
• Interconnect: SXM5-Boards verwenden die vierte Generation von NVLink und NVSwitch für Hochgeschwindigkeitsverbindungen zwischen GPUs innerhalb eines Nodes, während PCIe-Karten auf den PCIe-Bus angewiesen sind (mit optionalen NVLink-Brücken bei einigen Varianten). Diese Unterscheidung ist für Multi-GPU-Aufgaben enorm wichtig.
• Leistungsaufnahme: Die SXM5-Karte hat eine Leistungsaufnahme von etwa 700 W in einem 8-GPU-Servergehäuse; die PCIe-Karte liegt niedriger, bei etwa 350 W. Die Stromkosten zahlen Sie beim Mieten nicht direkt, aber das erklärt, warum diese Instanzen dicht, heiß und entsprechend bepreist sind.

Für welche Workloads die H100 wirklich geeignet ist

Die H100 lohnt sich bei speicherintensiven, durchsatzhungrigen Aufgaben. Sie ist eine starke Wahl für:

• Training und Feinabstimmung großer Modelle: 80 GB HBM ermöglichen größere Batches und größere Parametersplitter pro GPU, und NVLink macht Multi-GPU- und Multi-Node-Skalierung effizient für daten- und tensorparalleles Training.
• Hochdurchsatz-LLM-Inferenz: FP8 und die Transformer Engine machen sie hervorragend geeignet, große Sprachmodelle bei hohem Anfragevolumen bereitzustellen, wobei Tokens pro Sekunde pro Dollar wichtig sind.
• Feinabstimmung von mittelgroßen bis großen Modellen: Vollständige Feinabstimmungen und parameter-effiziente Methoden auf Multi-Milliarden-Parameter-Modellen passen bequem, wo kleinere VRAM-Karten aggressives Auslagern erzwingen.
• Wissenschaftliches Rechnen und HPC: Starke FP64-Durchsatzrate (im Gegensatz zu Consumer-Karten, die hier absichtlich schwach sind) macht sie auch für Simulationen und numerische Arbeiten geeignet, nicht nur für KI.

Sie ist überdimensioniert für kleine Modell-Experimente, leichte Inferenz kompakter Modelle, klassisches ML, Notebooks und die meisten Rendering- oder Visualisierungsarbeiten — diese laufen auf deutlich günstigeren Karten gut, und eine H100 dafür zu mieten, ist meist Geldverschwendung. Sie ist selten unterdimensioniert für Einzelknoten-Arbeiten; der Hauptgrund, warum Teams sie nicht nutzen, ist der Bedarf an mehr Gesamtspeicher als ein einzelner Knoten dieser Karten bietet oder der Wunsch nach Effizienzgewinnen der neuesten Generation.

SXM vs PCIe — die Variante, die Sie mieten, ist entscheidend

Dies ist das meist übersehene Detail beim Mieten. SXM5-Boards bieten höhere Bandbreite, vollständiges NVLink/NVSwitch-Netzwerk und höhere Dauerfrequenzen, weshalb ernsthaftes Multi-GPU-Training fast immer mit ihnen durchgeführt wird. PCIe-Karten sind günstiger im Hosting und gut für Single-GPU-Inferenz oder kleinere Aufgaben, aber ihre Verbindungen zwischen GPUs sind langsamer. Wenn die obige Auflistung die Variante nicht angibt, sollten Sie das vor einer Multi-GPU-Trainingslauf klären.

Mietkosten, Verfügbarkeit und Knappheit

Im Cloud-GPU-Kostenspektrum liegt die H100 nahe der Spitze — über der A100 und weit über Consumer-Karten wie der RTX 4090 — obwohl sie von neuerer Blackwell-Hardware von der absoluten Spitze verdrängt wurde. Da die genauen Preise ständig schwanken und je nach Anbieter, Region, Vertragslaufzeit und Variante variieren, sollten Sie aktuelle Zahlen aus dem obigen Vergleich lesen und sich nicht auf feste Werte verlassen. Einige qualitative Punkte bleiben konstant:

• On-Demand vs Spot: Unterbrechbare oder Spot-H100-Kapazität kann deutlich günstiger sein als On-Demand, was sich für checkpointbasiertes Training und fehlertolerante Batch-Inferenz eignet, aber riskant für lange Einzelaufträge ohne gute Checkpoints ist.
• Knappheit: Die H100-Versorgung war historisch knapp, daher variiert die Verfügbarkeit — nicht nur der Preis — je nach Region und Anbieter. Das günstigste Angebot ist wertlos, wenn die Kapazität in Ihrer Region ausverkauft ist.
• Pro-GPU vs Full-Node: Viele Anbieter vermieten einzelne H100, aber die beste Multi-GPU-Leistung erzielt man mit vollständigen 8-GPU-NVLink-Nodes; prüfen Sie, ob Sie Bruchteile, einzelne oder vollständige Nodes erhalten.
• Abrechnungsgranularität: Abrechnung pro Sekunde oder Minute ist vorteilhaft für kurze Feinabstimmungen und sporadische Inferenz; Stundenminima sind besser für lange Läufe. Passen Sie das Modell an Ihr Arbeitslastmuster an.

Häufig gestellte Fragen

Wie viel VRAM hat eine Cloud-H100?

Die gängige H100 verfügt über 80 GB Hochgeschwindigkeitsspeicher — HBM3 bei der SXM5-Variante und HBM2e bei der PCIe-Variante. Eine spätere H100 NVL-Aktualisierung erhöht die Kapazität pro Karte. Bestätigen Sie immer die genaue Variante und Speichergröße in der obigen Auflistung, da dies bestimmt, wie groß das Modell und die Batch-Größe ohne Auslagerung sein können.

Lohnt sich die Miete einer H100 gegenüber einer A100?

Für Transformer-Training und -Inferenz meist ja: Hoppers FP8-Unterstützung und Transformer Engine liefern pro GPU deutlich höheren Durchsatz als die Ampere A100, was oft den höheren Stundenpreis auf Kosten-pro-Token- oder Kosten-pro-Schritt-Basis ausgleicht. Für kleine oder speicherschwache Aufgaben, die FP8 nicht nutzen, kann eine günstigere A100 oder Consumer-Karte besser sein.

Soll ich die SXM5- oder die PCIe-H100 wählen?

Wählen Sie SXM5 für Multi-GPU-Training und eng gekoppelte verteilte Aufgaben, da das NVLink/NVSwitch-Netzwerk und die höhere Bandbreite viel besser über GPUs skaliert. PCIe ist für Single-GPU-Inferenz oder kleinere Workloads in Ordnung und oft günstiger. Wenn die Variante nicht angegeben ist, fragen Sie vor der Buchung eines Multi-GPU-Laufs nach.

Kann ich mit Spot- oder unterbrechbaren H100-Instanzen Geld sparen?

Ja, unterbrechbare Kapazität ist in der Regel deutlich günstiger als On-Demand und eignet sich gut für Training mit häufigen Checkpoints oder Batch-Inferenz, die Neustarts toleriert. Vermeiden Sie sie für lange, nicht checkpointete Jobs, bei denen eine Unterbrechung Stunden bezahlter Rechenzeit verschwenden würde. Vergleichen Sie beide Preismodelle in der obigen Tabelle.