Apakah NVIDIA GH200 Superchip kartu data-center, profesional, atau konsumen?

Jawaban

NVIDIA GH200 Superchip dibangun di atas arsitektur Hopper dan dilengkapi dengan 96 GB memori HBM3 dengan bandwidth 4,000 GB/s. Dirilis pada 2023, kartu ini memberikan 989 TFLOPS FP16 dan 494.5 TFLOPS FP32 dengan TDP 700W.

Bagi peneliti pembelajaran mesin, angka-angka tersebut menerjemahkan ke beberapa batas praktis: batas VRAM menentukan bobot model bahasa besar terbesar yang dapat dimuat (dan ukuran batch maksimum pada panjang urutan tertentu), sementara bandwidth memori menetapkan batas atas untuk inferensi berat perhatian. Throughput komputasi paling penting untuk perkalian matriks padat — pra-pelatihan, pra-pelatihan batch besar, dan difusi.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.