इनफेरेंस और मॉडल सेवा के लिए सर्वश्रेष्ठ क्लाउड GPU

किराए पर लिए गए GPU से वास्तव में इन्फरेंस क्या मांगता है

इन्फरेंस मॉडल के जीवन का सेवा चरण है: वज़न पहले से प्रशिक्षित होते हैं, और आप हर बार जब कोई उपयोगकर्ता एक प्रॉम्प्ट, छवि, या अनुरोध भेजता है, तब कंप्यूट के लिए भुगतान करते हैं। यह हार्डवेयर गणित को प्रशिक्षण की तुलना में पूरी तरह बदल देता है। प्रशिक्षण थ्रूपुट-सीमित होता है और घने क्लस्टरों पर घंटों या दिनों तक चलता है; इन्फरेंस विलंब-संवेदनशील, अचानक होता है, और अनिश्चितकाल तक चलता रहता है। जब आप मॉडल को सेवा देने के लिए GPU किराए पर लेते हैं, तो आप स्वीकार्य प्रतिक्रिया समय पर प्रति टोकन या प्रति अनुरोध लागत के लिए अनुकूलन कर रहे होते हैं, न कि लंबे कार्य पर कच्चे FLOPs के लिए।

सबसे महत्वपूर्ण प्रतिबंध आमतौर पर मेमोरी क्षमता होती है, न कि कंप्यूट। एक मॉडल को VRAM में फिट होना होता है साथ ही उसके की-वैल्यू (KV) कैश के साथ, जो बैच आकार और संदर्भ लंबाई के साथ बढ़ता है। बड़े भाषा मॉडलों के लिए यह प्रमुख दबाव है: 16-बिट में सेवा दिया गया मॉडल लगभग प्रत्येक पैरामीटर के लिए दो बाइट्स की आवश्यकता रखता है, इसलिए एक मध्यम आकार का मॉडल आराम से एक मध्यम-श्रेणी के कार्ड पर बैठ सकता है जबकि एक अग्रणी-स्तरीय मॉडल को कई GPUs को एक साथ जोड़ने की आवश्यकता हो सकती है। ऊपर दिया गया तुलना आपको VRAM के आधार पर फिल्टर करने देता है ताकि आप उस कार्ड को मैच कर सकें जो आप सेवा देने वाले सबसे बड़े मॉडल के साथ-साथ समवर्ती अनुरोधों के लिए अतिरिक्त जगह प्रदान करता हो।

इन्फरेंस लागत और विलंबता को प्रभावित करने वाले विनिर्देश

• VRAM क्षमता यह निर्धारित करती है कि मॉडल और उसका KV कैश एक GPU में फिट होगा या उसे विभाजित करना पड़ेगा। दूसरे GPU या होस्ट मेमोरी में स्पिलिंग विलंबता और जटिलता बढ़ा देता है।
• मेमोरी बैंडविड्थ टोकन उत्पादन के लिए वास्तविक बाधा है। ऑटोरेग्रेसीव डिकोडिंग हर टोकन के लिए पूरे वज़न सेट को पढ़ता है, इसलिए उच्च-बैंडविड्थ मेमोरी (HBM-क्लास) समान कंप्यूट स्तर पर GDDR-क्लास मेमोरी की तुलना में टोकन तेजी से उत्पन्न करती है।
• कम-सटीकता समर्थन अत्यंत महत्वपूर्ण है। FP8 या INT8 टेंसर पाथ वाले कार्ड आपको मॉडल को क्वांटाइज़ करने देते हैं ताकि प्रति डॉलर अधिक अनुरोध सेवा किए जा सकें बिना गुणवत्ता में अधिक हानि के। 8-बिट या 4-बिट क्वांटाइज़ेशन मेमोरी पदचिह्न को भी कम करता है, जिससे अक्सर मॉडल सस्ते कार्ड पर फिट हो जाता है।
• इंटरकनेक्ट (NVLink बनाम PCIe) केवल तब मायने रखता है जब मॉडल कई GPUs में फैला हो। एकल-GPU सेवा के लिए यह अप्रासंगिक है; बहुत बड़े मॉडलों के टेंसर-पैरेलल सेवा के लिए यह सीधे टोकन विलंबता को प्रभावित करता है।

बैच (ऑफ़लाइन) बनाम रियल-टाइम इन्फरेंस

दो बिल्कुल अलग सेवा पैटर्न “इन्फरेंस” शब्द के अंतर्गत छिपे होते हैं, और वे अलग-अलग किराए चाहते हैं।

रियल-टाइम इन्फरेंस लाइव उपयोगकर्ताओं को सेवा देता है: एक चैटबॉट, एक API एंडपॉइंट, वेब ऐप के पीछे एक छवि जनरेटर। यहाँ टेल विलंबता शासन करती है, GPUs अक्सर आंशिक रूप से खाली रहते हैं ट्रैफ़िक का इंतजार करते हुए, और आप एक अनुरोध के बीच में इंस्टेंस हटाए जाने को सहन नहीं कर सकते। यह पैटर्न मांग पर, हमेशा उपलब्ध क्षमता और एक ऐसे कार्ड को प्राथमिकता देता है जिसमें मजबूत मेमोरी बैंडविड्थ हो ताकि प्रति अनुरोध विलंबता छोटे बैच आकारों पर भी कम रहे।

बैच या ऑफ़लाइन इन्फरेंस एक बड़ा बैकलॉग प्रोसेस करता है: एक डेटासेट का स्कोरिंग, एक कॉर्पस के लिए एम्बेडिंग जनरेट करना, एक मिलियन छवियों के लिए कैप्शनिंग। यहाँ कोई लाइव उपयोगकर्ता नहीं होते, इसलिए प्रति आइटम विलंबता लगभग मायने नहीं रखती और आप बड़े बैच पैक कर सकते हैं ताकि GPU संतृप्त हो सके। यह पैटर्न इंटरप्टेबल या स्पॉट क्षमता के लिए आदर्श उम्मीदवार है, क्योंकि अगर एक इंस्टेंस पुनः प्राप्त किया जाता है तो आप बस कतार को फिर से शुरू कर देते हैं। जब आप ऊपर की सूची पढ़ते हैं, तो पहले तय करें कि आप इनमें से किस पैटर्न में हैं, क्योंकि यह यह निर्धारित करता है कि कौन सा बिलिंग मॉडल और उपलब्धता स्तर तर्कसंगत है।

क्यों थ्रूपुट और उपयोग पीक FLOPs से बेहतर हैं

कागज पर जो कार्ड दो गुना शक्तिशाली दिखता है, वह शायद ही आपकी इन्फरेंस बिल को आधा कर पाता है। डिकोडिंग मेमोरी-बाउंड होती है, इसलिए एक GPU का विज्ञापित पीक कंप्यूट अक्सर उत्पादन के दौरान कम उपयोग होता है। आप वास्तव में जो भुगतान करते हैं वह है प्रभावी टोकन प्रति सेकंड प्रति डॉलर आपके वास्तविक बैच आकारों और संदर्भ लंबाई के तहत। आधुनिक सेवा स्टैक्स निरंतर बैचिंग, पेज्ड KV कैश, और क्वांटाइज़ेशन के माध्यम से बहुत सी बेकार क्षमता पुनः प्राप्त करते हैं। किराए पर लेते समय व्यावहारिक निष्कर्ष: एक मध्यम-श्रेणी का GPU जो एक अनुकूलित सर्वर चला रहा हो, एक फ्लैगशिप कार्ड से बेहतर हो सकता है जो एक अनऑप्टिमाइज़्ड सर्वर चला रहा हो, और एक छोटा, सस्ता कार्ड जो अभी भी आपके मॉडल में फिट होता है, अक्सर स्थिर ट्रैफ़िक के लिए लागत विजेता होता है।

सेवा के लिए विशेष रूप से महत्वपूर्ण प्रदाता सुविधाएँ

इन्फरेंस लगातार चलता रहता है, इसलिए इसके आसपास के प्लेटफ़ॉर्म फीचर्स एक बार के प्रशिक्षण कार्य की तुलना में अधिक महत्व रखते हैं। ऊपर दिए विकल्पों की तुलना करते समय, इन आयामों की जांच करें:

• बिलिंग ग्रैन्युलैरिटी: प्रति सेकंड या प्रति मिनट बिलिंग अचानक, शून्य तक स्केल करने वाली सेवा को पुरस्कृत करती है; मोटी घंटेवार बिलिंग उन एंडपॉइंट्स को दंडित करती है जो ट्रैफ़िक स्पाइक्स के बीच खाली रहते हैं।
• कोल्ड-स्टार्ट और प्रोविजनिंग गति: यदि आप मांग के अनुसार रिप्लिका बढ़ाते या घटाते हैं, तो एक नया GPU इंस्टेंस कितनी जल्दी तैयार होता है यह सीधे उपयोगकर्ता-सामना विलंबता और आपकी ऑटोस्केलिंग क्षमता को प्रभावित करता है।
• स्थायी भंडारण और इमेज कैशिंग: हर स्टार्ट पर बड़े मॉडल वज़न खींचना धीमा होता है और कभी-कभी मापा जाता है। कैश किए गए इमेज या जुड़े वॉल्यूम जो वज़न रखते हैं, कोल्ड स्टार्ट को नाटकीय रूप से कम करते हैं।
• एग्रीस शुल्क: सेवा लगातार उपयोगकर्ताओं को परिणाम भेजती है। प्रति गीगाबाइट एग्रीस जो प्रशिक्षण के लिए अदृश्य होता है, उच्च-आयतन API के लिए एक वास्तविक लाइन आइटम बन सकता है।
• मांग पर विश्वसनीयता बनाम स्पॉट मूल्य निर्धारण: रियल-टाइम एंडपॉइंट्स आमतौर पर गारंटीकृत मांग पर क्षमता की आवश्यकता होती है; बैच जॉब्स सस्ते इंटरप्टिबल इंस्टेंस का पीछा कर सकते हैं।
• ऑटोस्केलिंग और सर्वरलेस विकल्प: जब ट्रैफ़िक अचानक बढ़ता है तो शून्य तक स्केल करना महत्वपूर्ण होता है, ताकि आप रात भर खाली GPU के लिए भुगतान न करें।

इन्फरेंस के लिए ऊपर दी गई तुलना को कैसे पढ़ें

इस क्रम में काम करें। पहले, सबसे बड़े मॉडल की पहचान करें जिसे आपको सेवा देनी है और पुष्टि करें कि कार्ड में आपके अपेक्षित समवर्तीता पर वज़न और KV कैश के लिए पर्याप्त VRAM है। दूसरा, प्रति सेकंड प्रति डॉलर अधिकतम टोकन के लिए उच्च मेमोरी बैंडविड्थ और कम-सटीकता (FP8/INT8) समर्थन को प्राथमिकता दें। तीसरा, बिलिंग और उपलब्धता मॉडल को अपने पैटर्न के अनुसार मिलाएं: लाइव एंडपॉइंट्स के लिए मांग पर, सूक्ष्म बिलिंग के साथ; ऑफ़लाइन बैच कार्य के लिए इंटरप्टिबल क्षमता। वर्तमान दरों के लिए लाइव तालिका का उपयोग करें, क्योंकि प्रति घंटे की कीमत मांग और कमी के साथ बदलती रहती है और प्रदाता के अनुसार भिन्न होती है; स्थायी नियम यह है कि सबसे सस्ता कार्ड जो आराम से आपके मॉडल और ट्रैफ़िक में फिट हो, लगभग हमेशा जीतता है, न कि सबसे शक्तिशाली उपलब्ध।

अक्सर पूछे जाने वाले प्रश्न

इन्फरेंस के लिए मॉडल सेवा देने के लिए मुझे कितनी GPU मेमोरी चाहिए?

मॉडल वज़न के साथ-साथ की-वैल्यू कैश की योजना बनाएं। 16-बिट में, वज़न को लगभग प्रत्येक पैरामीटर के लिए दो बाइट्स की आवश्यकता होती है, और 8-बिट या 4-बिट क्वांटाइज़ेशन इसे काफी कम कर देता है। फिर KV कैश के लिए अतिरिक्त जगह जोड़ें, जो बैच आकार और संदर्भ लंबाई के साथ बढ़ता है। ऊपर की सूची को VRAM के अनुसार फ़िल्टर करें और ऐसा कार्ड चुनें जो मॉडल को आराम से फिट कर सके ताकि समवर्तीता आपको मेमोरी से बाहर न कर दे।

क्या सस्ता GPU इन्फरेंस के लिए पर्याप्त है, या मुझे फ्लैगशिप कार्ड चाहिए?

कई सेवा कार्यभार के लिए मध्यम-श्रेणी का कार्ड बेहतर मूल्य होता है। टोकन उत्पादन पीक कंप्यूट की तुलना में मेमोरी बैंडविड्थ द्वारा सीमित होता है, इसलिए फ्लैगशिप FLOPs अक्सर कम उपयोग होते हैं। यदि आपका मॉडल छोटे कार्ड के VRAM में फिट हो जाता है और एक अनुकूलित सेवा स्टैक GPU को व्यस्त रखता है, तो आप आमतौर पर सबसे महंगे विकल्प को किराए पर लेने की तुलना में बेहतर प्रति टोकन लागत प्राप्त करते हैं।

क्या मुझे इन्फरेंस के लिए स्पॉट या इंटरप्टिबल इंस्टेंस का उपयोग करना चाहिए?

यह पैटर्न पर निर्भर करता है। ऑफ़लाइन बैच इन्फरेंस व्यवधानों को अच्छी तरह सहन करता है, क्योंकि आप कतार को फिर से शुरू कर सकते हैं, जिससे सस्ता स्पॉट क्षमता आकर्षक हो जाती है। रियल-टाइम, उपयोगकर्ता-सामना एंडपॉइंट्स आमतौर पर गारंटीकृत मांग पर क्षमता की आवश्यकता होती है, क्योंकि अनुरोध के बीच में इंस्टेंस पुनः प्राप्त होने से विफलताएं होती हैं और विलंबता गारंटी टूटती है।

इन्फरेंस बिलिंग प्रशिक्षण बिलिंग से कैसे अलग है?

प्रशिक्षण एक सीमित, थ्रूपुट-सीमित कार्य है, जबकि इन्फरेंस लगातार चलता रहता है और अक्सर ट्रैफ़िक स्पाइक्स के बीच खाली रहता है। इससे प्रति सेकंड बिलिंग, तेज प्रोविजनिंग, शून्य तक स्केलिंग, और पूर्वानुमेय एग्रीस लागत सेवा के लिए एक बार के प्रशिक्षण रन की तुलना में कहीं अधिक महत्वपूर्ण हो जाते हैं। इन प्लेटफ़ॉर्म सुविधाओं को ऊपर दी गई तुलना में कच्ची घंटेवार GPU दर के साथ तौलें।