Adakah NVIDIA GH200 Superchip cukup baik untuk inferens pengeluaran?

Jawapan

Jawapan ringkas: NVIDIA GH200 Superchip beroperasi pada 989 TFLOPS FP16 dengan 4,000 GB/s lebar jalur memori. Jawapan panjang bergantung pada apa yang anda jalankan.

Untuk latihan FP16 padat dengan kelompok besar, NVIDIA GH200 Superchip menyaturkan teras tensor dan memberikan hasil hampir puncak FLOPS. Untuk penyajian terikat memori pada model asas konteks panjang, lebar jalur mendominasi — angka 4,000 GB/s lebih penting daripada TFLOPS tajuk utama. Untuk pengiraan saintifik, FP32 pada 494.5 TFLOPS adalah nombor yang relevan dan meletakkan NVIDIA GH200 Superchip sejajar dengan jangkaan HPC kelas Hopper.

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.

Lebih Banyak FAQ tentang NVIDIA GH200 Superchip

Terokai NVIDIA GH200 Superchip