NVIDIA GH200 Superchip bir veri merkezi, profesyonel veya tüketici kartı mı?

Cevap

NVIDIA GH200 Superchip, Hopper mimarisi üzerine inşa edilmiştir ve 96 GB HBM3 belleğe, 4,000 GB/s bant genişliğine sahiptir. 2023 tarihinde piyasaya sürülen kart, 989 FP16 TFLOPS ve 494.5 FP32 TFLOPS sunar ve 700W TDP'ye sahiptir.

Makine öğrenimi araştırmacıları için bu rakamlar birkaç pratik sınırı ifade eder: VRAM sınırı, yükleyebileceğiniz en büyük büyük dil modeli ağırlıklarını (ve belirli bir dizi uzunluğunda maksimum partiyi) belirlerken, bellek bant genişliği dikkat ağırlıklı çıkarım için üst sınırı belirler. Hesaplama verimi ise yoğun matris çarpımları — ön eğitim, büyük partili ön eğitim ve difüzyon için en önemlidir.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.