किराए पर लें NVIDIA GB200 Superchip क्लाउड में

पूरा NVIDIA GB200 Superchip स्पेक शीट पढ़ता है: Blackwell पीढ़ी, 384 जीबी HBM3e VRAM, 16,000 जीबी/सेकंड मेमोरी बैंडविड्थ, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W पावर ड्रॉ, 2024 में रिलीज़।

मेमोरी आमतौर पर बड़े मॉडल वास्तविक-समय सेवा के लिए बाधा होती है — 384 जीबी में, NVIDIA GB200 Superchip आराम से FP16 में मध्यम आकार के ट्रांसफॉर्मर और FP8/INT8 में बहुत बड़े मॉडल संभालता है। 16,000 जीबी/सेकंड आंकड़ा विशेष रूप से KV-कैश-सीमित ऑटोरिग्रेसिव डिकोडिंग के लिए महत्वपूर्ण है, जहां मेमोरी बैंडविड्थ टोकन/सेकंड को कच्चे कंप्यूट से अधिक सीमित करता है।

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.

NVIDIA GB200 Superchip प्रदर्शन शीर्षक: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s बैंडविड्थ, 384 GB VRAM।

व्यावहारिक बेंचमार्क में परिवर्तित: 7B-पैरामीटर LLM को FP16 में उचित बैच आकारों के साथ मॉडल प्रशिक्षण आमतौर पर बैंडविड्थ से पहले गणना संतृप्त करता है; उसी मॉडल पर वास्तविक समय सेवा आमतौर पर बैंडविड्थ-सीमित होती है और 16,000 GB/s आंकड़े का अनुसरण करती है। डिफ्यूजन छवि निर्माण बेंचमार्क दोनों के बीच स्थित है — गणना-भारी चरण टेंसर कोर का अच्छा उपयोग करते हैं, जबकि ध्यान ब्लॉक अभी भी बैंडविड्थ को छूते हैं।

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.

NVIDIA GB200 Superchip उन कार्यभारों के लिए सबसे अच्छा है जहाँ इसका 384 GB VRAM और Blackwell टेंसर कोर अच्छी तरह मेल खाते हैं: Largest-scale AI training, multi-trillion parameter models।

यदि आपके कार्यभार को काफी अधिक मेमोरी की आवश्यकता है (जैसे, अग्रणी स्तर के मॉडलों को शुरू से प्रशिक्षण देना), तो NVIDIA GB200 Superchip छोटा है और आपको H100/H200/B200 वर्ग का कार्ड चाहिए। यदि आपके कार्यभार को कम मेमोरी चाहिए (जैसे, 7B-पैरामीटर मॉडलों पर छोटे पैमाने पर सेवा देना), तो सस्ते कार्ड जैसे L4 या RTX 4090 अधिक किफायती हो सकते हैं। मध्य श्रेणी के लिए, NVIDIA GB200 Superchip आमतौर पर समझदारी से चुना जाने वाला विकल्प है।

Review full specs and related comparisons on the NVIDIA GB200 Superchip page.