Sejauh mana NVIDIA GB200 Superchip boleh diskalakan merentasi pelbagai GPU?

Jawapan

Tajuk prestasi NVIDIA GB200 Superchip: 4,500 TFLOPS FP16, 150 TFLOPS FP32, 16,000 GB/s lebar jalur, 384 GB VRAM.

Ditukar kepada penanda aras praktikal: latihan model LLM 7B parameter dalam FP16 dengan saiz kelompok munasabah biasanya menyaturkan pengiraan sebelum lebar jalur; penyajian masa nyata pada model yang sama biasanya terikat lebar jalur dan mengikuti angka 16,000 GB/s. Penanda aras penjanaan imej difusi berada di antara kedua-duanya — langkah berat pengiraan menggunakan teras tensor dengan baik, manakala blok perhatian masih menggunakan lebar jalur.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.