NVIDIA H100 के साथ सर्वश्रेष्ठ क्लाउड GPU प्रदाता

NVIDIA H100 वास्तव में क्या है

H100 NVIDIA का डेटा-सेंटर एक्सेलेरेटर है जो Hopper आर्किटेक्चर पर आधारित है, यह पुरानी Ampere A100 और नई Blackwell पार्ट्स के बीच की पीढ़ी है। यह GPU वह है जिसे अधिकांश टीमें गंभीर बड़े मॉडल प्रशिक्षण या उच्च-थ्रूपुट इन्फरेंस के लिए चुनती हैं बिना उपभोक्ता कार्ड तक नीचे गिरे। जब आप ऊपर दिए गए तुलना से H100 इंस्टेंस किराए पर लेते हैं, तो आप एक विशेष रूप से निर्मित AI एक्सेलेरेटर किराए पर ले रहे होते हैं, न कि एक पुनः प्रयोजित गेमिंग GPU, और यही इसकी क्षमता और लागत दोनों को प्रभावित करता है।

किराएदार के लिए महत्वपूर्ण मुख्य हार्डवेयर विशेषताएं:

• मेमोरी: SXM5 वेरिएंट 80 GB HBM3 के साथ आता है, जबकि PCIe वेरिएंट HBM2e का उपयोग करता है, जो मुख्यधारा वाले पार्ट पर भी 80 GB है। बाद में एक रिफ्रेश, H100 NVL, प्रति कार्ड क्षमता बढ़ाता है। बड़ी, तेज HBM इस कार्ड को GDDR6-आधारित विकल्पों पर चुनने का सबसे बड़ा कारण है।
• मेमोरी बैंडविड्थ: SXM5 पार्ट पर HBM3 लगभग 3 TB/s प्रदान करता है, जो उपभोक्ता GDDR6/GDDR6X कार्ड से कहीं अधिक है। बैंडविड्थ, कच्चे FLOPs नहीं, बड़े ट्रांसफॉर्मर लेयर्स को फीड रखने का कारण है।
• टेंसर कोर और प्रिसीजन: चौथी पीढ़ी के टेंसर कोर FP16, BF16, TF32, INT8 का समर्थन करते हैं, और — Hopper के साथ नया — FP8। FP8 आधुनिक LLM वर्कलोड्स के लिए मुख्य विशेषता है, जो समर्थित कर्नेल्स पर FP16 की तुलना में थ्रूपुट को लगभग दोगुना करता है जबकि सही स्केलिंग के साथ सटीकता स्वीकार्य रखता है।
• ट्रांसफॉर्मर इंजन: Hopper FP8 हार्डवेयर को सॉफ़्टवेयर के साथ जोड़ता है जो परत-दर-परत प्रिसीजन को गतिशील रूप से प्रबंधित करता है, इसलिए H100 ट्रांसफॉर्मर प्रशिक्षण और इन्फरेंस पर पिछले जनरेशन की तुलना में मॉडल पर बेहतर प्रदर्शन कर सकता है।
• इंटरकनेक्ट: SXM5 बोर्ड उच्च-बैंडविड्थ GPU-से-GPU लिंक के लिए चौथी पीढ़ी के NVLink और NVSwitch का उपयोग करते हैं, जबकि PCIe कार्ड PCIe बस पर निर्भर करते हैं (कुछ वेरिएंट पर वैकल्पिक NVLink ब्रिज के साथ)। यह अंतर मल्टी-GPU जॉब्स के लिए अत्यंत महत्वपूर्ण है।
• पावर क्लास: SXM5 कार्ड लगभग 700 W का पार्ट है जो 8-GPU सर्वर चेसिस में होता है; PCIe कार्ड कम पावर उपयोग करता है, लगभग 350 W। किराए पर लेते समय आप सीधे बिजली का बिल नहीं देते, लेकिन यह समझाता है कि ये इंस्टेंस घने, गर्म और उसी के अनुसार मूल्यवान होते हैं।

H100 किन वर्कलोड्स के लिए उपयुक्त है

H100 मेमोरी-बाउंड, थ्रूपुट-भूखे जॉब्स पर अपनी योग्यता साबित करता है। यह निम्नलिखित के लिए उपयुक्त है:

• बड़े मॉडल का प्रशिक्षण और फाइन-ट्यूनिंग: 80 GB HBM आपको बड़े बैच और प्रति GPU बड़े पैरामीटर शार्ड रखने की अनुमति देता है, और NVLink मल्टी-GPU और मल्टी-नोड स्केलिंग को डेटा और टेंसर-पैरलल प्रशिक्षण के लिए कुशल बनाता है।
• उच्च-थ्रूपुट LLM इन्फरेंस: FP8 और ट्रांसफॉर्मर इंजन इसे बड़े भाषा मॉडल को उच्च अनुरोध मात्रा पर सेवा देने के लिए उत्कृष्ट बनाते हैं, जहाँ आप प्रति डॉलर प्रति सेकंड टोकन की संख्या पर ध्यान देते हैं।
• मध्यम से बड़े मॉडल की फाइन-ट्यूनिंग: पूर्ण फाइन-ट्यून और पैरामीटर-कुशल विधियाँ मल्टी-बिलियन-पैरामीटर मॉडल पर आराम से फिट होती हैं जहाँ छोटे VRAM कार्ड्स आक्रामक ऑफलोडिंग को मजबूर करते हैं।
• वैज्ञानिक और HPC कंप्यूट: मजबूत FP64 थ्रूपुट (उपभोक्ता कार्ड्स के विपरीत, जो यहाँ जानबूझकर कमजोर होते हैं) इसे केवल AI के लिए नहीं बल्कि सिमुलेशन और संख्यात्मक कार्यों के लिए भी उपयुक्त बनाता है।

यह छोटे मॉडल के प्रयोग, हल्के इन्फरेंस, पारंपरिक ML, नोटबुक्स, और अधिकांश रेंडरिंग या विज़ुअलाइज़ेशन कार्यों के लिए अधिक है — ये कार्य सस्ते कार्ड्स पर भी ठीक चलते हैं, और इनके लिए H100 किराए पर लेना ज्यादातर पैसे की बर्बादी है। यह शायद ही कभी कमज़ोर होता है एकल-नोड कार्य के लिए; मुख्य कारण जो टीमें इसे छोड़ती हैं वह है कि उन्हें इन कार्ड्स के एकल नोड से अधिक कुल मेमोरी चाहिए, या वे नवीनतम पीढ़ी की दक्षता लाभ चाहते हैं।

SXM बनाम PCIe — आप जो वेरिएंट किराए पर लेते हैं वह महत्वपूर्ण है

यह किराए पर लेते समय सबसे अधिक अनदेखा किया गया विवरण है। SXM5 बोर्ड उच्च बैंडविड्थ, पूर्ण NVLink/NVSwitch फैब्रिक, और उच्च स्थायी क्लॉक्स प्रदान करते हैं, इसलिए गंभीर मल्टी-GPU प्रशिक्षण लगभग हमेशा इन्हीं का उपयोग करता है। PCIe कार्ड होस्ट करने में सस्ते होते हैं और एकल-GPU इन्फरेंस या छोटे जॉब्स के लिए ठीक हैं, लेकिन इनके इंटर-GPU लिंक धीमे होते हैं। यदि ऊपर की सूची में वेरिएंट निर्दिष्ट नहीं है, तो मल्टी-GPU प्रशिक्षण रन से पहले इसे स्पष्ट करना आवश्यक है।

किराए की लागत, उपलब्धता, और कमी

क्लाउड GPU लागत स्पेक्ट्रम में, H100 शीर्ष के करीब है — A100 से ऊपर और RTX 4090 जैसे उपभोक्ता कार्ड्स से बहुत ऊपर — हालांकि इसे नवीनतम Blackwell-क्लास हार्डवेयर ने शीर्ष स्थान से हटा दिया है। क्योंकि सटीक दरें लगातार बदलती रहती हैं और प्रदाता, क्षेत्र, प्रतिबद्धता अवधि, और वेरिएंट के अनुसार भिन्न होती हैं, आपको ऊपर दी गई तुलना से लाइव आंकड़े पढ़ने चाहिए न कि किसी स्थिर संख्या पर भरोसा करना चाहिए। कुछ गुणात्मक बिंदु स्थिर रहते हैं:

• ऑन-डिमांड बनाम स्पॉट: इंटरप्टिबल या स्पॉट H100 क्षमता ऑन-डिमांड की तुलना में काफी सस्ती हो सकती है, जो चेकपॉइंटेड प्रशिक्षण और फॉल्ट-टॉलरेंट बैच इन्फरेंस के लिए उपयुक्त है, लेकिन बिना अच्छे चेकपॉइंटिंग के लंबे सिंगल-शॉट जॉब्स के लिए जोखिम भरी है।
• कमी: H100 की आपूर्ति ऐतिहासिक रूप से कम रही है, इसलिए उपलब्धता — केवल कीमत नहीं — क्षेत्र और प्रदाता के अनुसार भिन्न होती है। यदि आपकी क्षेत्र में क्षमता बिक चुकी है तो सबसे सस्ती सूची का कोई मूल्य नहीं है।
• प्रति-GPU बनाम पूर्ण-नोड: कई प्रदाता एकल H100 किराए पर देते हैं, लेकिन सर्वश्रेष्ठ मल्टी-GPU प्रदर्शन पूर्ण 8-GPU NVLink नोड्स से आता है; जांचें कि आपको आंशिक, एकल, या पूर्ण-नोड एक्सेस मिल रहा है।
• बिलिंग ग्रैनुलैरिटी: प्रति सेकंड या प्रति मिनट बिलिंग छोटे फाइन-ट्यून और बर्स्ट इन्फरेंस के लिए अनुकूल है; प्रति घंटे न्यूनतम बिलिंग लंबे रन के लिए बेहतर है। अपने वर्कलोड पैटर्न के अनुसार मॉडल चुनें।

अक्सर पूछे जाने वाले प्रश्न

क्लाउड H100 में कितनी VRAM होती है?

मेनस्ट्रीम H100 में 80 GB उच्च-बैंडविड्थ मेमोरी होती है — SXM5 वेरिएंट पर HBM3 और PCIe वेरिएंट पर HBM2e। बाद में H100 NVL रिफ्रेश प्रति कार्ड क्षमता बढ़ाता है। हमेशा ऊपर दी गई सूची में सटीक वेरिएंट और मेमोरी आंकड़ा पुष्टि करें, क्योंकि यह निर्धारित करता है कि आप बिना ऑफलोडिंग के सबसे बड़ा मॉडल और बैच साइज़ चला सकते हैं।

क्या H100 को A100 की तुलना में किराए पर लेना उचित है?

ट्रांसफॉर्मर प्रशिक्षण और इन्फरेंस के लिए, आमतौर पर हाँ: Hopper का FP8 समर्थन और ट्रांसफॉर्मर इंजन Ampere के A100 की तुलना में प्रति GPU काफी अधिक थ्रूपुट प्रदान कर सकता है, जो अक्सर लागत-प्रति-टोकन या लागत-प्रति-स्टेप आधार पर उच्च घंटे की दर को संतुलित करता है। छोटे या कम मेमोरी वाले जॉब्स के लिए जो FP8 का उपयोग नहीं करते, एक सस्ता A100 या उपभोक्ता कार्ड बेहतर विकल्प हो सकता है।

मुझे SXM5 या PCIe H100 में से किसे चुनना चाहिए?

मल्टी-GPU प्रशिक्षण और घनिष्ठ रूप से जुड़े वितरित जॉब्स के लिए SXM5 चुनें, क्योंकि इसका NVLink/NVSwitch फैब्रिक और उच्च बैंडविड्थ GPU के बीच बेहतर स्केलिंग प्रदान करता है। PCIe एकल-GPU इन्फरेंस या छोटे वर्कलोड्स के लिए ठीक है और अक्सर सस्ता होता है। यदि वेरिएंट निर्दिष्ट नहीं है, तो मल्टी-GPU रन बुक करने से पहले पूछें।

क्या मैं स्पॉट या इंटरप्टिबल H100 इंस्टेंस के साथ पैसे बचा सकता हूँ?

हाँ, इंटरप्टिबल क्षमता आमतौर पर ऑन-डिमांड से बहुत सस्ती होती है, और यह बार-बार चेकपॉइंट के साथ प्रशिक्षण या पुनः आरंभ सहन करने वाले बैच इन्फरेंस के लिए अच्छा काम करती है। बिना चेकपॉइंट के लंबे जॉब्स के लिए इससे बचें जहाँ बीच में निकाला जाना भुगतान किए गए कंप्यूट के घंटों को बर्बाद कर सकता है। ऊपर दी गई तालिका में दोनों मूल्य निर्धारण मोड की तुलना करें।