क्या NVIDIA GB200 Superchip BF16 और FP8 का समर्थन करता है?

उत्तर

पूरा NVIDIA GB200 Superchip स्पेक शीट पढ़ता है: Blackwell पीढ़ी, 384 जीबी HBM3e VRAM, 16,000 जीबी/सेकंड मेमोरी बैंडविड्थ, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W पावर ड्रॉ, 2024 में रिलीज़।

मेमोरी आमतौर पर बड़े मॉडल वास्तविक-समय सेवा के लिए बाधा होती है — 384 जीबी में, NVIDIA GB200 Superchip आराम से FP16 में मध्यम आकार के ट्रांसफॉर्मर और FP8/INT8 में बहुत बड़े मॉडल संभालता है। 16,000 जीबी/सेकंड आंकड़ा विशेष रूप से KV-कैश-सीमित ऑटोरिग्रेसिव डिकोडिंग के लिए महत्वपूर्ण है, जहां मेमोरी बैंडविड्थ टोकन/सेकंड को कच्चे कंप्यूट से अधिक सीमित करता है।

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.