Adakah NVIDIA GH200 Superchip kad pusat data, profesional, atau pengguna?

Jawapan

NVIDIA GH200 Superchip dibina atas seni bina Hopper dan dihantar dengan 96 GB memori HBM3 pada lebar jalur 4,000 GB/s . Dilancarkan pada 2023, kad ini memberikan 989 FP16 TFLOPS dan 494.5 FP32 TFLOPS pada TDP 700W.

Bagi penyelidik pembelajaran mesin, angka-angka ini diterjemahkan kepada beberapa had praktikal: had VRAM menentukan berat model bahasa besar terbesar yang boleh dimuatkan (dan saiz kelompok maksimum pada panjang urutan tertentu), manakala lebar jalur memori menetapkan had atas untuk inferens berat perhatian. Kelajuan pengiraan paling penting untuk pendaraban matriks padat — pra-latihan, pra-latihan kelompok besar, dan penyebaran.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.