Wie gut skaliert NVIDIA GB200 Superchip über mehrere GPUs?

Antwort

NVIDIA GB200 Superchip Leistungshighlight: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s Bandbreite, 384 GB VRAM.

Umgesetzt in praktische Benchmarks: Modelltraining eines 7B-Parameter-LLM in FP16 mit vernünftigen Batch-Größen sättigt typischerweise die Rechenleistung vor der Bandbreite; Echtzeit-Serving beim selben Modell ist üblicherweise bandbreitenbegrenzt und folgt der 16,000 GB/s Zahl. Diffusionsbildgenerierungs-Benchmarks liegen dazwischen — rechenintensive Schritte nutzen Tensor-Kerne gut, während Attention-Blöcke weiterhin Bandbreite beanspruchen.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.