Adakah NVIDIA GB200 Superchip menyokong BF16 dan FP8?

Jawapan

Helaian spesifikasi penuh NVIDIA GB200 Superchip berbunyi: generasi Blackwell, 384 GB VRAM HBM3e, lebar jalur memori 16,000 GB/s, TFLOPS FP16 4,500, TFLOPS FP32 150, penggunaan kuasa 2,700W, dilancarkan pada 2024.

Memori biasanya adalah kekangan untuk perkhidmatan masa nyata model besar — pada 384 GB, NVIDIA GB200 Superchip dengan selesa mengendalikan transformer bersaiz sederhana dalam FP16 dan model lebih besar dalam FP8/INT8. Angka 16,000 GB/s amat penting untuk penyahkodan autoregresif yang terhad oleh cache KV, di mana lebar jalur memori mengehadkan token/saat lebih daripada pengiraan mentah.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.