Apakah NVIDIA GB200 Superchip mendukung BF16 dan FP8?

Jawaban

Lembar spesifikasi lengkap NVIDIA GB200 Superchip berbunyi: generasi Blackwell, 384 GB VRAM HBM3e, bandwidth memori 16,000 GB/s, TFLOPS FP16 4,500, TFLOPS FP32 150, konsumsi daya 2,700W, dirilis pada 2024.

Memori biasanya menjadi kendala untuk penyajian waktu nyata model besar — pada 384 GB, NVIDIA GB200 Superchip dengan nyaman menangani transformer berukuran sedang dalam FP16 dan model jauh lebih besar dalam FP8/INT8. Angka 16,000 GB/s sangat penting untuk decoding autoregresif yang terikat cache KV, di mana bandwidth memori membatasi token/detik lebih dari komputasi mentah.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.