Hoe goed schaalt NVIDIA GB200 Superchip over meerdere GPU's?

Antwoord

NVIDIA GB200 Superchip prestatiehoogtepunt: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s bandbreedte, 384 GB VRAM.

Omgezet in praktische benchmarks: modeltraining van een 7B-parameter LLM in FP16 met redelijke batchgroottes verzadigt meestal eerst de rekenkracht voor de bandbreedte; real-time serving op hetzelfde model is meestal bandbreedte-beperkt en volgt de 16,000 GB/s waarde. Diffusie beeldgeneratie benchmarks zitten tussen beide in — rekenintensieve stappen benutten tensor cores goed, terwijl attention blokken nog steeds bandbreedte gebruiken.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.