NVIDIA GB200 Superchip कई GPUs पर कितना अच्छा स्केल करता है?

उत्तर

NVIDIA GB200 Superchip प्रदर्शन शीर्षक: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s बैंडविड्थ, 384 GB VRAM।

व्यावहारिक बेंचमार्क में परिवर्तित: 7B-पैरामीटर LLM को FP16 में उचित बैच आकारों के साथ मॉडल प्रशिक्षण आमतौर पर बैंडविड्थ से पहले गणना संतृप्त करता है; उसी मॉडल पर वास्तविक समय सेवा आमतौर पर बैंडविड्थ-सीमित होती है और 16,000 GB/s आंकड़े का अनुसरण करती है। डिफ्यूजन छवि निर्माण बेंचमार्क दोनों के बीच स्थित है — गणना-भारी चरण टेंसर कोर का अच्छा उपयोग करते हैं, जबकि ध्यान ब्लॉक अभी भी बैंडविड्थ को छूते हैं।

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.