NVIDIA GH200 के साथ सर्वश्रेष्ठ क्लाउड GPU प्रदाता

NVIDIA GH200 ग्रेस हॉपर सुपरचिप वास्तव में क्या है

GH200 एक पारंपरिक ऐड-इन GPU कार्ड नहीं है। यह एक सुपरचिप है जो NVIDIA हॉपर-पीढ़ी के H100-क्लास GPU को 72-कोर आर्म नियोवर्स-आधारित ग्रेस CPU के साथ एक ही मॉड्यूल पर जोड़ता है, जिसे NVLink-C2C द्वारा जोड़ा गया है — एक संगत चिप-टू-चिप इंटरकनेक्ट जो CPU और GPU को मानक PCIe स्लॉट की तुलना में बहुत अधिक बैंडविड्थ पर जोड़ता है। जब आप ऊपर दिए गए तुलना से GH200 इंस्टेंस किराए पर लेते हैं, तो आप केवल GPU नहीं बल्कि पूरे CPU+GPU पैकेज को किराए पर ले रहे होते हैं, न कि किसी और के होस्ट CPU पर जोड़ा गया GPU।

यह वास्तुकला ही मुख्य बात है। क्योंकि ग्रेस CPU और हॉपर GPU NVLink-C2C के माध्यम से एक संगत मेमोरी स्पेस साझा करते हैं, GPU CPU के बड़े LPDDR5X मेमोरी पूल तक बिना सामान्य PCIe बॉटलनेक के पहुंच सकता है। उन वर्कलोड्स के लिए जहाँ मॉडल या डेटासेट GPU की अपनी उच्च-बैंडविड्थ मेमोरी से अधिक फैलता है, यह एकल नोड पर चलाने के लिए व्यावहारिकता को बदल देता है।

जब आप इसे किराए पर लेते हैं तो महत्वपूर्ण हार्डवेयर

• GPU मेमोरी: हॉपर GPU पक्ष में मूल GH200 में HBM3 और उच्च क्षमता वाले संस्करण में HBM3e होता है। आपको सुपरचिप के प्रति लगभग 96 GB HBM3 और लगभग 141 GB HBM3e के आस-पास विन्यास विज्ञापित दिखाई देंगे — ऊपर सूची में सटीक आंकड़ा जांचें, क्योंकि मेमोरी क्षमता GH200 SKU के बीच सबसे बड़ा भेदक है।
• सिस्टम मेमोरी: ग्रेस CPU एक बड़ा LPDDR5X बैंक जोड़ता है (आमतौर पर लगभग 480 GB बताया जाता है), जिसे GPU संगत रूप से एक्सेस कर सकता है। HBM के साथ मिलकर, एकल GH200 एक बहुत बड़ा एकीकृत पता स्थान प्रदान करता है — जो बड़े एम्बेडिंग, KV कैश, और ग्राफ या सिफारिश वर्कलोड के लिए उपयोगी है।
• मेमोरी बैंडविड्थ: HBM3/HBM3e GPU को कई टेराबाइट प्रति सेकंड प्रदान करता है, जबकि NVLink-C2C CPU-GPU के बीच सैकड़ों GB/s की संगत बैंडविड्थ देता है — जो लगभग PCIe 5.0 x16 लिंक से एक क्रम का बड़ा है।
• कंप्यूट और प्रिसिजन: हॉपर पार्ट के रूप में, GPU में चौथी पीढ़ी के टेंसर कोर और ट्रांसफॉर्मर इंजन शामिल हैं, जो FP8, BF16, FP16, TF32, INT8, और FP64 के लिए हार्डवेयर समर्थन देते हैं। विशेष रूप से FP8 हॉपर को LLM प्रशिक्षण और उच्च-थ्रूपुट अनुमान दोनों के लिए आकर्षक बनाता है।
• मल्टी-GPU स्केलिंग: GH200 मॉड्यूल NVLink और NVL32-शैली के रैक डिजाइनों में NVLink स्विच फैब्रिक के साथ जुड़े जा सकते हैं, जिससे कई सुपरचिप्स एक बड़े एक्सेलेरेटर की तरह व्यवहार करते हैं न कि एक ढीले PCIe क्लस्टर की तरह।
• पावर और थर्मल वर्ग: यह केवल डेटा-सेंटर के लिए उच्च-TDP मॉड्यूल है (आमतौर पर CPU सहित लगभग 1000 W तक कॉन्फ़िगर किया जा सकता है)। इसे होस्ट में तरल या भारी वायु शीतलन मिलता है, इसलिए इसकी उपलब्धता सामान्य सर्वरों के बजाय विशेष होस्ट से जुड़ी होती है।

GH200 के लिए उपयुक्त वर्कलोड्स

GH200 अपनी जगह उस समय बनाता है जब संगत CPU-GPU मेमोरी और HBM बैंडविड्थ वास्तविक काम करते हैं:

• बड़े मॉडल और लंबे संदर्भ अनुमान: बड़े KV कैश और बड़े वज़न HBM के साथ ग्रेस के LPDDR5X में फैलाव से लाभान्वित होते हैं, जिससे एकल नोड उन मॉडलों की सेवा कर सकता है जिन्हें अन्यथा कई अलग-अलग GPU में शार्डिंग की आवश्यकता होती।
• LLM फाइन-ट्यूनिंग और प्रशिक्षण: ट्रांसफॉर्मर इंजन के माध्यम से FP8 और BF16 इसे ट्रांसफॉर्मर प्रशिक्षण और पैरामीटर-कुशल फाइन-ट्यूनिंग के लिए मजबूत बनाते हैं, खासकर जब डेटासेट या ऑप्टिमाइज़र स्टेट्स मेमोरी-भूखे होते हैं।
• सिफारिश, GNN, और वेक्टर वर्कलोड्स: जो कुछ भी CPU और GPU मेमोरी के बीच बड़े टेबल या ग्राफ़ स्ट्रीम करता है, वह सीधे NVLink-C2C संगति से लाभान्वित होता है।
• HPC और वैज्ञानिक कंप्यूटिंग: नेटिव FP64 और CPU-GPU के कड़े संयोजन से वे सिमुलेशन और डेटा-विश्लेषण पाइपलाइनों के लिए उपयुक्त हैं जो स्केलर CPU कार्य को GPU कर्नेल के साथ मिलाते हैं।

यह छोटे मॉडल के प्रयोग, क्लासिक कंप्यूटर-विजन फाइन-ट्यूनिंग जो आराम से 24–48 GB में फिट हो, मेमोरी-बाउंड न होने वाले बैच जॉब्स, और अधिकांश छोटे मॉडलों के वास्तविक समय अनुमान के लिए अधिक है। वहाँ एक सस्ता अदा या एम्पियर कार्ड अधिक लागत-प्रभावी होगा। GH200 ग्राफिक्स, गेमिंग, या वर्कस्टेशन रेंडरिंग के लिए भी खराब विकल्प है: इसमें कोई डिस्प्ले आउटपुट नहीं है और यह कंप्यूट के लिए बनाया गया है, रैस्टराइजेशन के लिए नहीं।

किराए के संदर्भ: लागत, उपलब्धता, और तुलना करने के लिए क्या

GH200 क्लाउड-GPU लागत स्पेक्ट्रम के शीर्ष के करीब बैठता है, H100-क्लास इंस्टेंस के समान प्रीमियम स्तर में, क्योंकि आप HBM, एक बंडल्ड ग्रेस CPU, और उच्च-बैंडविड्थ इंटरकनेक्ट के लिए भुगतान कर रहे हैं। मांग की तुलना में आपूर्ति वास्तव में कम है, इसलिए यह आमतौर पर हर सामान्य-उद्देश्य क्लाउड के बजाय AI-केंद्रित और विशेषज्ञ होस्ट पर दिखाई देता है, और ऑन-डिमांड क्षमता बिक सकती है। स्पॉट या इंटरप्टिबल मूल्य निर्धारण कुछ जगहों पर उपलब्ध है लेकिन पुराने एक्सेलेरेटर की तुलना में कम सामान्य और कम गहरा है। लाइव, प्रदाता-विशिष्ट दरों के लिए ऊपर दी गई तुलना पर भरोसा करें न कि किसी स्थिर आंकड़े पर, क्योंकि मूल्य निर्धारण क्षेत्र और प्रतिबद्धता अवधि के अनुसार बदलता रहता है।

जब आप तालिका पढ़ें, तो इन आयामों का वजन करें:

• HBM क्षमता (96 GB HBM3 बनाम ~141 GB HBM3e) — यह सबसे बड़े मॉडल को निर्धारित करता है जिसे आप मेज़बान कर सकते हैं।
• ऑन-डिमांड बनाम रिज़र्व बनाम स्पॉट उपलब्धता, और न्यूनतम प्रतिबद्धता।
• इंटरकनेक्ट टोपोलॉजी मल्टी-नोड प्रशिक्षण के लिए (NVLink फैब्रिक बनाम नोड्स के बीच सामान्य ईथरनेट/इन्फिनीबैंड)।
• स्टोरेज थ्रूपुट और एग्रीस शुल्क, जो अक्सर डेटा-भारी प्रशिक्षण के लिए कुल लागत का प्रभुत्व रखते हैं।
• बिलिंग ग्रैनुलैरिटी (प्रति सेकंड बनाम प्रति घंटा) यदि आपके जॉब्स छोटे या फटाफट हैं।

अक्सर पूछे जाने वाले प्रश्न

क्या GH200 H100 के समान है?

ठीक नहीं। GH200 में H100 से निकटता से संबंधित हॉपर GPU शामिल है, लेकिन यह 72-कोर ग्रेस आर्म CPU और NVLink-C2C संगत इंटरकनेक्ट के साथ एक सुपरचिप के रूप में आता है। एक स्टैंडअलोन H100 केवल GPU होता है जिसे प्रदाता द्वारा दिया गया कोई भी x86 होस्ट जोड़ा जाता है, इसलिए GH200 का लाभ कड़े जुड़ी, बड़ी संगत CPU-GPU मेमोरी पूल है।

GH200 में कितनी मेमोरी होती है?

यह संस्करण पर निर्भर करता है। GPU पक्ष में लगभग 96 GB HBM3 या लगभग 141 GB HBM3e होता है, और ग्रेस CPU एक बड़ा LPDDR5X बैंक जोड़ता है (आमतौर पर लगभग 480 GB के करीब बताया जाता है) जिसे GPU संगत रूप से एक्सेस कर सकता है। ऊपर सूची में सटीक HBM आंकड़ा पुष्टि करें, क्योंकि यह SKU के अनुसार भिन्न होता है और यह वह विनिर्देश है जो मॉडल के आकार को सीमित करता है।

GH200 AI के लिए कौन-कौन से प्रिसिशन्स का समर्थन करता है?

एक हॉपर पार्ट होने के नाते, यह चौथी पीढ़ी के टेंसर कोर और ट्रांसफॉर्मर इंजन के माध्यम से FP8, BF16, FP16, TF32, INT8, और FP64 का समर्थन करता है। FP8 बड़े मॉडल प्रशिक्षण और उच्च-थ्रूपुट अनुमान के लिए मुख्य विशेषता है।

कब GH200 किराए पर लेना उचित नहीं है?

यदि आपका मॉडल आराम से 24–48 GB में फिट हो, आपका वर्कलोड मेमोरी-बैंडविड्थ बाउंड न हो, या आपको केवल छोटे मॉडल के वास्तविक समय अनुमान की आवश्यकता हो, तो एक सस्ता अदा या एम्पियर इंस्टेंस बेहतर मूल्य प्रदान करेगा। GH200 विशेष रूप से तब लाभकारी होता है जब बड़ी मेमोरी, HBM बैंडविड्थ, या संगत CPU-GPU डेटा मूवमेंट बाधा हो।