जनरेटिव एआई के लिए सर्वश्रेष्ठ क्लाउड जीपीयू

किराए पर लिए गए GPU से जनरेटिव AI वास्तव में क्या मांगता है

जनरेटिव AI एक व्यापक श्रेणी है। यह ऑटोरिग्रेसिव बड़े भाषा मॉडल, डिफ्यूजन-आधारित छवि और वीडियो जनरेटर, टेक्स्ट-टू-ऑडियो और संगीत मॉडल, और बढ़ते हुए मल्टीमॉडल सिस्टम को कवर करता है जो एक साथ कई कार्य संभालते हैं। सामान्य बात यह है कि मॉडल आपके द्वारा दिए गए डेटा के मुकाबले बड़े होते हैं, और बाधा लगभग हमेशा GPU मेमोरी होती है न कि कच्चे कंप्यूट की। ऊपर दी गई तुलना पढ़ने से पहले, यह जानना मददगार होता है कि इस वर्कलोड के लिए कौन से आयाम महत्वपूर्ण हैं।

• वीआरएएम क्षमता यह निर्धारित करती है कि आप क्या लोड कर सकते हैं। एक मॉडल के वज़न को मेमोरी में एक्टिवेशन के साथ फिट होना चाहिए और प्रशिक्षण के दौरान ऑप्टिमाइज़र स्टेट और ग्रेडिएंट्स भी। 7B–13B पैरामीटर वाले क्वांटाइज़्ड मॉडल पर एक 24GB कार्ड पर सहजता से इन्फरेंस किया जा सकता है, जबकि उच्च सटीकता में 70B मॉडल को सर्व करने के लिए आपको 80GB-क्लास एक्सेलेरेटर या कई GPUs की आवश्यकता होती है।
• मेमोरी बैंडविड्थ टोकन थ्रूपुट को निर्धारित करता है। जनरेटिव इन्फरेंस मेमोरी-बाउंड होता है: हर जनरेट किया गया टोकन मॉडल के वज़न को कंप्यूट यूनिट्स के माध्यम से स्ट्रीमिंग करने की मांग करता है, इसलिए HBM-क्लास बैंडविड्थ (जो डेटा-सेंटर एक्सेलेरेटर में पाया जाता है) समान VRAM वाले GDDR-आधारित कंज्यूमर कार्ड्स की तुलना में कहीं अधिक टोकन-प्रति-सेकंड प्रदान करता है।
• कम-प्रिसिजन समर्थन यहां कई अन्य वर्कलोड की तुलना में अधिक महत्वपूर्ण है। टेंसर कोर जो FP16, BF16, और विशेष रूप से FP8 या INT8 को तेज करते हैं, आपको कम मेमोरी में बड़े मॉडल चलाने और उच्च गति पर चलाने देते हैं। FP8-सक्षम हार्डवेयर नवीनतम बड़े मॉडल के प्रशिक्षण और सेवा दोनों के लिए एक महत्वपूर्ण अंतर है।
• इंटरकनेक्ट तब निर्णायक हो जाता है जब मॉडल एक GPU में फिट नहीं होता। NVLink जैसे उच्च-बैंडविड्थ लिंक और मल्टी-नोड प्रशिक्षण के लिए नोड-स्तरीय फैब्रिक्स, जब वज़न कई GPUs में विभाजित होते हैं, तो कई GPUs को लगातार फीड करते हैं। केवल PCIe वाले मल्टी-GPU सेटअप काम करते हैं लेकिन बड़े मॉडल के प्रशिक्षण और टेंसर-पैरलल इन्फरेंस को धीमा कर देते हैं।

वर्कलोड को सही स्तर से मिलाना

“जनरेटिव AI” आपके काम के आधार पर किराए की जरूरतों में बहुत भिन्न होता है। ऊपर दी गई सूची को इस नजरिए से पढ़ना आपको पैसे और निराशा दोनों से बचाएगा।

इन्फरेंस और सेवा

यदि आप उपयोगकर्ताओं के लिए टेक्स्ट, छवियां, या ऑडियो जनरेट करने के लिए मॉडल तैनात कर रहे हैं, तो आप प्रति डॉलर उच्चतम मेमोरी बैंडविड्थ चाहते हैं और पर्याप्त VRAM चाहिए जो मॉडल और एक उचित KV कैश (प्रति-रिक्वेस्ट मेमोरी जो संदर्भ लंबाई के साथ बढ़ती है) को समायोजित कर सके। चैट-शैली और लंबी संदर्भ जनरेशन के लिए, KV कैश आकार में वज़न के बराबर हो सकता है, इसलिए अपने इंस्टेंस को केवल मॉडल वज़न के हिसाब से न चुनें। INT8 या FP8 में क्वांटाइजेशन आपको बड़े मॉडल फिट करने या छोटे कार्ड्स पर अधिक समवर्ती अनुरोध सेवा करने देता है। रियल-टाइम, लेटेंसी-संवेदनशील सेवा के लिए, आमतौर पर एक तेज GPU प्रति रिप्लिका कई GPUs में एक मॉडल को पतला फैलाने से बेहतर होता है।

फाइन-ट्यूनिंग और अनुकूलन

अधिकांश टीमें फाउंडेशन मॉडल को कस्टमाइज़ करते समय पूर्ण प्रशिक्षण के बजाय पैरामीटर-कुशल फाइन-ट्यूनिंग (LoRA/QLoRA) करती हैं। विशेष रूप से QLoRA बेस मॉडल को क्वांटाइज़्ड रखता है और छोटे एडाप्टर वज़न प्रशिक्षित करता है, जो VRAM की आवश्यकता को काफी कम कर देता है — बड़े मॉडल एक 24GB–48GB कार्ड पर ट्यून किए जा सकते हैं। इसके विपरीत, बड़े मॉडल की पूर्ण फाइन-ट्यूनिंग के लिए मेमोरी में ऑप्टिमाइज़र स्टेट और ग्रेडिएंट्स की जरूरत होती है, जो आवश्यकता को कई गुना बढ़ा सकता है और आपको 80GB एक्सेलेरेटर या मजबूत इंटरकनेक्ट वाले मल्टी-GPU नोड्स की ओर ले जाता है।

प्रीट्रेनिंग और बड़े पैमाने पर प्रशिक्षण

शुरुआत से एक बड़ा जनरेटिव मॉडल प्रशिक्षण सबसे मांग वाला मामला है। यह मल्टी-GPU और मल्टी-नोड स्केलिंग से नियंत्रित होता है, इसलिए इंटरकनेक्ट बैंडविड्थ, तेज साझा स्टोरेज जो डेटा लोडर्स को फीड करे, और विश्वसनीय उच्च-स्तरीय एक्सेलेरेटर जिनमें HBM और FP8 समर्थन हो, सभी महत्वपूर्ण हैं। यहां ऑन-डिमांड उपलब्धता और कमी योजना का मुद्दा बन जाती है, और प्रतिबद्ध या आरक्षित क्षमता अक्सर सबसे सस्ती स्पॉट कीमत के पीछे भागने से बेहतर होती है।

जनरेटिव AI के लिए ऊपर दी गई तुलना को कैसे पढ़ें

तालिका लाइव विशिष्टताओं को संभालती है, लेकिन इसे स्कैन करते समय आपको क्या परखना चाहिए:

• सबसे पहले VRAM, फिर बैंडविड्थ. उन इंस्टेंस को फ़िल्टर करें जो वास्तव में आपके मॉडल और उसके KV कैश को समायोजित कर सकते हैं, फिर इन्फरेंस थ्रूपुट के लिए HBM-क्लास मेमोरी को प्राथमिकता दें।
• सिंगल बनाम मल्टी-GPU. यदि आपका मॉडल एक GPU में फिट होता है, तो एक तेज कार्ड सरल और आमतौर पर सस्ता होता है बनाम एक मल्टी-GPU बॉक्स जिसे आप पूरी तरह उपयोग नहीं कर पाते। केवल तब NVLink से जुड़े मल्टी-GPU इंस्टेंस का उपयोग करें जब मॉडल वास्तव में कार्ड्स में फैला हो।
• बिलिंग ग्रैन्युलैरिटी. जनरेटिव वर्कलोड अक्सर बर्स्ट होते हैं — एक बैच इमेज जॉब, एक मूल्यांकन रन, एक अस्थायी एंडपॉइंट। प्रति सेकंड या प्रति मिनट बिलिंग और इंस्टेंस को जल्दी बंद करने की क्षमता आपको निष्क्रिय एक्सेलेरेटर के लिए भुगतान करने से बचाती है।
• स्पॉट बनाम ऑन-डिमांड. इंटरप्टेबल इंस्टेंस दोष-सहिष्णु बैच जनरेशन और चेकपॉइंटेड फाइन-ट्यूनिंग के लिए उत्कृष्ट हैं, लेकिन उपयोगकर्ता-सामना वाले एंडपॉइंट के लिए जोखिम भरे हैं जिन्हें हमेशा चालू रहना चाहिए।
• स्टोरेज और ईग्रैस. मॉडल वज़न बड़े होते हैं और चेकपॉइंट के लिए स्थायी स्टोरेज बढ़ जाता है; जांचें कि प्रत्येक विकल्प स्टोरेज और डेटा ट्रांसफर के लिए कैसे शुल्क लेता है, केवल GPU समय के लिए नहीं।

क्योंकि सबसे अधिक मांग वाले एक्सेलेरेटर की कीमतें और आपूर्ति अक्सर बदलती रहती हैं, ऊपर दी गई तुलना में लाइव आंकड़ों को सत्य स्रोत मानें और यहां दी गई मार्गदर्शिका का उपयोग करें यह तय करने के लिए कि कौन से पंक्तियाँ तुलना के लायक हैं।

अक्सर पूछे जाने वाले प्रश्न

जनरेटिव AI के लिए मुझे कितनी VRAM चाहिए?

यह मॉडल के आकार और सटीकता पर निर्भर करता है। 7B–13B रेंज के क्वांटाइज़्ड मॉडल 24GB कंज्यूमर-क्लास कार्ड्स पर चलते हैं, मध्यम आकार के मॉडल और पूर्ण-सटीकता सेवा के लिए 48GB कार्ड्स उपयुक्त हैं, और लगभग 70B पैरामीटर या उससे बड़े बड़े मॉडल आमतौर पर 80GB-क्लास एक्सेलेरेटर या कई GPUs की आवश्यकता होती है। लंबी संदर्भ जनरेशन के दौरान KV कैश के लिए अतिरिक्त मेमोरी हमेशा बजट में रखें।

क्या मुझे जनरेटिव AI के लिए स्पॉट या ऑन-डिमांड इंस्टेंस का उपयोग करना चाहिए?

दोष-सहिष्णु कार्य जैसे बैच इमेज या वीडियो जनरेशन और चेकपॉइंटेड फाइन-ट्यूनिंग के लिए स्पॉट या इंटरप्टेबल क्षमता का उपयोग करें, जहां एक व्यवधान केवल पुनःप्रारंभ का खर्च होता है। उत्पादन इन्फरेंस एंडपॉइंट्स और किसी भी लंबे प्रशिक्षण रन के लिए ऑन-डिमांड या आरक्षित क्षमता का उपयोग करें जिन्हें आसानी से पुनः शुरू नहीं किया जा सकता, क्योंकि वहां अप्रत्याशित रिक्लेम अधिक विघटनकारी होता है।

क्या मुझे 80GB डेटा-सेंटर GPU चाहिए, या कंज्यूमर कार्ड चलेगा?

प्रयोग, LoRA/QLoRA फाइन-ट्यूनिंग, और छोटे से मध्यम आकार के क्वांटाइज़्ड मॉडल की सेवा के लिए, एक 24GB कंज्यूमर-क्लास GPU अक्सर पर्याप्त और सस्ता होता है। जब आपको उच्च मेमोरी बैंडविड्थ, FP8 त्वरक, मल्टी-GPU स्केलिंग के लिए NVLink, या बड़े मॉडल और बड़े बैच के लिए अधिक जगह चाहिए, तब HBM समर्थित 80GB एक्सेलेरेटर की ओर बढ़ें।

GPU पूरी तरह से उपयोग में न होने के बावजूद मेरा टोकन जनरेशन धीमा क्यों है?

जनरेटिव इन्फरेंस आमतौर पर कंप्यूट की बजाय मेमोरी-बैंडविड्थ बाउंड होता है, इसलिए आप कच्चे कंप्यूट उपयोग कम होने पर भी उच्च टोकन-प्रति-सेकंड सीमा देख सकते हैं। समाधान तेज मेमोरी वाला कार्ड (GDDR के बजाय HBM), मॉडल को INT8 या FP8 में क्वांटाइज करना, या अधिक अनुरोधों को बैचिंग करना है ताकि मेमोरी से स्ट्रीम किए गए वज़न एक साथ कई जनरेशन सेवा कर सकें।