Beste Cloud-GPU-Anbieter mit NVIDIA GH200

Was der NVIDIA GH200 Grace Hopper Superchip tatsächlich ist

Der GH200 ist keine herkömmliche GPU-Erweiterungskarte. Er ist ein Superchip, der eine NVIDIA Hopper-Generation H100-Klasse GPU mit einer 72-Kern Arm Neoverse-basierten Grace CPU auf einem einzigen Modul vereint, verbunden durch NVLink-C2C — eine kohärente Chip-zu-Chip-Verbindung, die CPU und GPU mit deutlich höherer Bandbreite als ein Standard-PCIe-Steckplatz verbindet. Wenn Sie eine GH200-Instanz aus dem obigen Vergleich mieten, mieten Sie das gesamte CPU+GPU-Paket, nicht nur eine GPU, die Sie an die CPU eines anderen Hosts anschließen.

Diese Architektur ist der ganze Sinn dahinter. Da die Grace CPU und die Hopper GPU einen kohärenten Speicherraum über NVLink-C2C teilen, kann die GPU auf den großen LPDDR5X-Speicherpool der CPU zugreifen, ohne den üblichen PCIe-Flaschenhals. Für Workloads, bei denen ein Modell oder Datensatz über den eigenen Hochgeschwindigkeitsspeicher der GPU hinausgeht, verändert dies, was auf einem einzelnen Knoten praktisch ausführbar ist.

Die relevante Hardware beim Mieten

• GPU-Speicher: Die Hopper-GPU-Seite verwendet HBM3 im ursprünglichen GH200 und HBM3e in der Variante mit höherer Kapazität. Sie werden Konfigurationen mit etwa 96 GB HBM3 und etwa 141 GB HBM3e pro Superchip sehen — prüfen Sie die genaue Zahl in der obigen Liste, da die Speicherkapazität der größte Unterschied zwischen den GH200-SKUs ist.
• Systemspeicher: Die Grace CPU ergänzt einen großen LPDDR5X-Speicherbereich (häufig etwa 480 GB genannt), der der GPU kohärent zugänglich ist. Zusammen mit HBM bietet ein einzelner GH200 einen sehr großen einheitlichen Adressraum — nützlich für große Embeddings, KV-Caches sowie Graph- oder Empfehlungs-Workloads.
• Speicherbandbreite: HBM3/HBM3e liefert der GPU mehrere Terabyte pro Sekunde, während NVLink-C2C hunderte GB/s kohärente CPU-GPU-Bandbreite bereitstellt — etwa eine Größenordnung mehr als ein PCIe 5.0 x16-Link.
• Rechenleistung und Präzision: Als Hopper-Komponente enthält die GPU Tensor Cores der vierten Generation und die Transformer Engine mit Hardwareunterstützung für FP8, BF16, FP16, TF32, INT8 und FP64. Besonders FP8 macht Hopper attraktiv für LLM-Training und hochdurchsatzfähige Inferenz.
• Multi-GPU-Skalierung: GH200-Module können mit NVLink und in NVL32-artigen Rack-Designs mit NVLink-Switch-Fabric verbunden werden, sodass mehrere Superchips eher wie ein großer Beschleuniger als ein loses PCIe-Cluster agieren.
• Leistungs- und thermische Klasse: Dies ist ein ausschließlich für Rechenzentren konzipiertes Modul mit hoher TDP (üblich konfigurierbar bis etwa 1000 W inklusive CPU). Es wird im Host flüssigkeits- oder stark luftgekühlt, weshalb die Verfügbarkeit an spezialisierte Hosts gebunden ist und nicht an Standard-Server.

Workloads, für die der GH200 wirklich geeignet ist

Der GH200 verdient seinen Platz dort, wo der kohärente CPU-GPU-Speicher und die HBM-Bandbreite echte Arbeit leisten:

• Inference mit großen Modellen und langem Kontext: Große KV-Caches und umfangreiche Gewichte profitieren von der Kombination aus HBM und dem Überlauf in den LPDDR5X-Speicher von Grace, sodass ein einzelner Knoten Modelle bedienen kann, die sonst auf mehrere diskrete GPUs verteilt werden müssten.
• Feinabstimmung und Training von LLMs: FP8 und BF16 über die Transformer Engine machen ihn stark für Transformer-Training und parameter-effiziente Feinabstimmung, besonders wenn Datensätze oder Optimizer-Zustände speicherintensiv sind.
• Empfehlungs-, GNN- und Vektor-Workloads: Alles, was große Tabellen oder Graphen zwischen CPU- und GPU-Speicher streamt, profitiert direkt von der NVLink-C2C-Kohärenz.
• HPC und wissenschaftliches Rechnen: Native FP64-Unterstützung plus enge CPU-GPU-Kopplung eignen sich für Simulations- und Datenanalyse-Pipelines, die skalare CPU-Arbeit mit GPU-Kernels mischen.

Für kleine Modell-Experimente, klassische Computer-Vision-Feinabstimmung, die bequem in 24–48 GB passt, batchbasierte Jobs ohne Speicherbandbreiten-Engpass und die meisten Echtzeit-Inferenz von kleinen Modellen ist er überdimensioniert. Eine günstigere Ada- oder Ampere-Karte aus dem breiteren Katalog ist dort kosteneffektiver. Der GH200 ist auch ungeeignet für Grafik, Gaming oder Workstation-Rendering: Er hat keine Display-Ausgänge und ist für Berechnung, nicht für Rasterisierung gebaut.

Mietkontext: Kosten, Verfügbarkeit und Vergleichskriterien

Der GH200 liegt nahe am oberen Ende des Cloud-GPU-Kosten-Spektrums, in derselben Premium-Klasse wie H100-Instanzen, da Sie für HBM, eine gebündelte Grace CPU und Hochgeschwindigkeits-Interconnect bezahlen. Das Angebot ist im Verhältnis zur Nachfrage tatsächlich knapp, daher findet man ihn eher auf KI-fokussierten und spezialisierten Hosts als in jedem allgemeinen Cloud-Angebot, und On-Demand-Kapazitäten können ausverkauft sein. Spot- oder unterbrechbare Preise gibt es an manchen Stellen, sind aber seltener und weniger ausgeprägt als bei älteren Beschleunigern. Für aktuelle, anbieter-spezifische Preise verlassen Sie sich besser auf den obigen Vergleich als auf feste Zahlen, da Preise sich bewegen und je nach Region und Vertragslaufzeit variieren.

Beim Lesen der Tabelle sollten Sie diese Dimensionen abwägen:

• HBM-Kapazität (96 GB HBM3 vs. ~141 GB HBM3e) — dies bestimmt das größte Modell, das Sie resident halten können.
• On-Demand vs. Reserved vs. Spot Verfügbarkeit und Mindestlaufzeit.
• Interconnect-Topologie für Multi-Node-Training (NVLink-Fabric vs. einfaches Ethernet/InfiniBand zwischen Knoten).
• Speicher-Durchsatz und Ausgangsgebühren, die oft die Gesamtkosten für datenintensives Training dominieren.
• Abrechnungsgranularität (pro Sekunde vs. pro Stunde), falls Ihre Jobs kurz oder unregelmäßig sind.

Häufig gestellte Fragen

Ist der GH200 dasselbe wie ein H100?

Nicht ganz. Der GH200 enthält eine Hopper-GPU, die eng mit dem H100 verwandt ist, wird aber als Superchip zusammen mit einer 72-Kern Grace Arm CPU und NVLink-C2C kohärentem Interconnect ausgeliefert. Ein eigenständiger H100 ist nur die GPU, gepaart mit welcher x86-Host-CPU der Anbieter auch immer bereitstellt, sodass der Vorteil des GH200 der eng gekoppelte, große kohärente CPU-GPU-Speicherpool ist.

Wie viel Speicher hat ein GH200?

Das hängt von der Variante ab. Die GPU-Seite verfügt über etwa 96 GB HBM3 oder etwa 141 GB HBM3e, und die Grace CPU ergänzt einen großen LPDDR5X-Speicherbereich (häufig etwa 480 GB genannt), auf den die GPU kohärent zugreifen kann. Bestätigen Sie die genaue HBM-Zahl in der obigen Liste, da sie je nach SKU variiert und das Spezifikationsmerkmal ist, das die Modellgröße begrenzt.

Welche Präzisionen unterstützt der GH200 für KI?

Als Hopper-Komponente unterstützt er FP8, BF16, FP16, TF32, INT8 und FP64 durch Tensor Cores der vierten Generation und die Transformer Engine. FP8 ist das Hauptmerkmal für effizientes Training großer Modelle und hochdurchsatzfähige Inferenz.

Wann lohnt sich das Mieten eines GH200 nicht?

Wenn Ihr Modell bequem in 24–48 GB passt, Ihre Workload nicht durch Speicherbandbreite begrenzt ist oder Sie nur Echtzeit-Inferenz kleiner Modelle benötigen, liefert eine günstigere Ada- oder Ampere-Instanz ein besseres Preis-Leistungs-Verhältnis. Der GH200 lohnt sich speziell dann, wenn großer Speicher, HBM-Bandbreite oder kohärente CPU-GPU-Datenbewegung der Engpass sind.