Seberapa baik NVIDIA GB200 Superchip skalanya di beberapa GPU?

Jawaban

Judul performa NVIDIA GB200 Superchip: 4,500 TFLOPS FP16, 150 TFLOPS FP32, 16,000 GB/s bandwidth, 384 GB VRAM.

Dikonversi ke benchmark praktis: pelatihan model LLM 7B parameter dalam FP16 dengan ukuran batch wajar biasanya memaksimalkan komputasi sebelum bandwidth; penyajian waktu nyata pada model yang sama biasanya terikat bandwidth dan mengikuti angka 16,000 GB/s. Benchmark generasi gambar difusi berada di antara keduanya — langkah berat komputasi memanfaatkan tensor core dengan baik, sementara blok perhatian masih menggunakan bandwidth.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.