Mieten NVIDIA GB200 Superchip in der Cloud
Dual-B200 superchip with Grace CPU. 384GB combined HBM3e for extreme-scale workloads.
Für dieses GPU-Modell liegen noch keine Preisdaten vor. Bitte bald wieder vorbeischauen.
Technische Spezifikationen von NVIDIA GB200 Superchip
Am besten geeignet für
Häufig Gestellte Fragen
Unterstützt NVIDIA GB200 Superchip BF16 und FP8?
Das vollständige NVIDIA GB200 Superchip Datenblatt lautet: Blackwell Generation, 384 GB HBM3e VRAM, 16,000 GB/s Speicherbandbreite, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W Leistungsaufnahme, veröffentlicht im 2024.
Speicher ist typischerweise die Einschränkung für großmodelliges Echtzeit-Serving – mit 384 GB bewältigt NVIDIA GB200 Superchip problemlos mittelgroße Transformer in FP16 und deutlich größere Modelle in FP8/INT8. Die 16,000 GB/s Zahl ist besonders wichtig für KV-Cache-gebundene autoregressive Decodierung, bei der die Speicherbandbreite die Tokens pro Sekunde stärker begrenzt als die rohe Rechenleistung.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.
Wie gut skaliert NVIDIA GB200 Superchip über mehrere GPUs?
NVIDIA GB200 Superchip Leistungshighlight: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s Bandbreite, 384 GB VRAM.
Umgesetzt in praktische Benchmarks: Modelltraining eines 7B-Parameter-LLM in FP16 mit vernünftigen Batch-Größen sättigt typischerweise die Rechenleistung vor der Bandbreite; Echtzeit-Serving beim selben Modell ist üblicherweise bandbreitenbegrenzt und folgt der 16,000 GB/s Zahl. Diffusionsbildgenerierungs-Benchmarks liegen dazwischen — rechenintensive Schritte nutzen Tensor-Kerne gut, während Attention-Blöcke weiterhin Bandbreite beanspruchen.
See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.
NVIDIA GB200 Superchip Anwendungsfälle – wo zeigt es seine Stärken?
NVIDIA GB200 Superchip ist am besten für Workloads geeignet, bei denen sein 384 GB VRAM und Blackwell Tensor-Kerne gut zusammenpassen: Largest-scale AI training, multi-trillion parameter models.
Wenn Ihr Workload deutlich mehr Speicher benötigt (z. B. Training von Frontier-Modellen von Grund auf), ist NVIDIA GB200 Superchip zu klein und Sie sollten eine Karte der Klasse H100/H200/B200 wählen. Wenn Ihr Workload weniger benötigt (z. B. kleine Bereitstellung von 7B-Parameter-Modellen), sind günstigere Karten wie L4 oder RTX 4090 möglicherweise kosteneffizienter. Für das mittlere Segment ist NVIDIA GB200 Superchip in der Regel die vernünftige Wahl.
Review full specs and related comparisons on the NVIDIA GB200 Superchip page.
Mit anderen GPUs vergleichen
Sehen Sie, wie NVIDIA GB200 Superchip im Vergleich zu anderen beliebten Cloud-GPUs bei Spezifikationen, Preisen und Verfügbarkeit abschneidet.