क्या NVIDIA GH200 Superchip एक डेटा-सेंटर, पेशेवर, या उपभोक्ता कार्ड है?

उत्तर

NVIDIA GH200 Superchip Hopper आर्किटेक्चर पर बनाया गया है और 96 जीबी HBM3 मेमोरी के साथ 4,000 जीबी/सेकंड बैंडविड्थ प्रदान करता है। 2023 में रिलीज़ किया गया, कार्ड 989 FP16 TFLOPS और 494.5 FP32 TFLOPS प्रदान करता है और इसका TDP 700W है।

मशीन लर्निंग शोधकर्ताओं के लिए, ये संख्याएँ कई व्यावहारिक सीमाओं में अनुवादित होती हैं: VRAM सीमा सबसे बड़े बड़े भाषा मॉडल वज़न को निर्धारित करती है जिसे आप लोड कर सकते हैं (और एक दिए गए अनुक्रम लंबाई पर अधिकतम बैच आकार), जबकि मेमोरी बैंडविड्थ ध्यान-भारी इन्फेरेंस के लिए ऊपरी सीमा सेट करती है। कंप्यूट थ्रूपुट घने मैट्रिक्स गुणा के लिए सबसे महत्वपूर्ण है — पूर्व-प्रशिक्षण, बड़े बैच पूर्व-प्रशिक्षण, और डिफ्यूजन।

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.