Apakah NVIDIA GH200 Superchip cukup baik untuk inferensi produksi?

Jawaban

Jawaban singkat: NVIDIA GH200 Superchip berjalan pada 989 TFLOPS FP16 dengan 4,000 GB/s bandwidth memori. Jawaban panjang tergantung pada apa yang Anda jalankan.

Untuk pelatihan FP16 padat dengan batch besar, NVIDIA GH200 Superchip memaksimalkan tensor core dan memberikan throughput dekat puncak FLOPS. Untuk penyajian terikat memori pada model dasar konteks panjang, bandwidth mendominasi — angka 4,000 GB/s lebih penting daripada TFLOPS utama. Untuk komputasi ilmiah, FP32 pada 494.5 TFLOPS adalah angka relevan dan menempatkan NVIDIA GH200 Superchip sesuai dengan ekspektasi HPC dari kelas Hopper.

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.