Unterstützt NVIDIA GB200 Superchip BF16 und FP8?

Antwort

Das vollständige NVIDIA GB200 Superchip Datenblatt lautet: Blackwell Generation, 384 GB HBM3e VRAM, 16,000 GB/s Speicherbandbreite, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W Leistungsaufnahme, veröffentlicht im 2024.

Speicher ist typischerweise die Einschränkung für großmodelliges Echtzeit-Serving – mit 384 GB bewältigt NVIDIA GB200 Superchip problemlos mittelgroße Transformer in FP16 und deutlich größere Modelle in FP8/INT8. Die 16,000 GB/s Zahl ist besonders wichtig für KV-Cache-gebundene autoregressive Decodierung, bei der die Speicherbandbreite die Tokens pro Sekunde stärker begrenzt als die rohe Rechenleistung.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.