NVIDIA GB200 Superchip birden çok GPU arasında ne kadar iyi ölçekleniyor?

Cevap

NVIDIA GB200 Superchip performans başlığı: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s bant genişliği, 384 GB VRAM.

Pratik kıyaslamalara dönüştürüldüğünde: 7 milyar parametreli bir LLM modeli FP16 ile makul toplu boyutlarda eğitildiğinde genellikle bant genişliğinden önce hesaplama doygunluğuna ulaşır; aynı modelde gerçek zamanlı servis genellikle bant genişliği sınırlıdır ve 16,000 GB/s rakamını takip eder. Difüzyon görüntü üretimi kıyaslamaları iki durum arasında yer alır — hesaplama ağırlıklı adımlar tensör çekirdeklerini iyi kullanırken, dikkat blokları hala bant genişliğine dokunur.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.