LLM सेवा और तैनाती के लिए सर्वश्रेष्ठ क्लाउड GPU

किराए पर लिए गए GPU से LLM सेवा वास्तव में क्या मांगती है

एक बड़े भाषा मॉडल की सेवा करना प्रशिक्षण से मूल रूप से अलग कार्यभार है। प्रशिक्षण थ्रूपुट-आधारित होता है और विलंबता के प्रति सहिष्णु होता है; सेवा विलंबता-संवेदनशील, मेमोरी-आधारित, और अचानक होती है। जब आप एक GPU किराए पर लेते हैं ताकि API के पीछे एक LLM तैनात कर सकें, तो बाधा आमतौर पर कच्चे FLOPS नहीं होती। यह इस बात पर निर्भर करता है कि आप मॉडल और उसके KV कैश को VRAM में कितना रख सकते हैं, वह मेमोरी कितनी तेज़ी से स्ट्रीम करती है, और आप कितनी समवर्ती अनुरोधों को बैच कर सकते हैं इससे पहले कि प्रति उपयोगकर्ता प्रति सेकंड टोकन गिर जाए।

KV कैश वह हिस्सा है जिसे अधिकांश लोग कम आंकते हैं। हर सक्रिय अनुरोध अपने संदर्भ के लिए ध्यान कुंजी और मान संग्रहीत करता है, और यह पदचिह्न अनुक्रम की लंबाई और समवर्ती उपयोगकर्ताओं की संख्या के साथ बढ़ता है। एक मॉडल जो आराम से निष्क्रिय अवस्था में फिट होता है, वह वास्तविक ट्रैफ़िक और लंबे प्रॉम्प्ट्स के साथ मेमोरी खत्म कर सकता है। इसलिए सेवा तैनाती में अक्सर मॉडल वज़न से अधिक VRAM हेडरूम की आवश्यकता होती है।

GPU को मॉडल के अनुसार आकार देने का तरीका

व्यावहारिक पहला प्रश्न यह है कि क्या मॉडल एक GPU पर फिट होता है या इसे कई GPUs में विभाजित करना पड़ता है। ऊपर दिए गए तुलना को अपने मॉडल के खिलाफ पढ़ते हुए, इन कारकों का मूल्यांकन करें:

• VRAM क्षमता निर्धारित करती है कि कौन से मॉडल फिट होंगे। FP8 या INT8 में क्वांटाइज़्ड 7B–13B मॉडल एक मध्यम-स्तरीय एक्सेलेरेटर से सेवा कर सकता है, जबकि BF16 में 70B मॉडल को आमतौर पर उच्च-मेमोरी कार्ड या मल्टी-GPU नोड की आवश्यकता होती है। बहुत बड़े फ्रंटियर-क्लास मॉडल प्रभावी रूप से कई उच्च-स्तरीय GPUs के संयोजन की मांग करते हैं।
• मेमोरी बैंडविड्थ आपकी टोकन जनरेशन गति निर्धारित करता है। ऑटोरेग्रेसीव डिकोडिंग हर उत्पन्न टोकन के लिए पूरे वज़न सेट को पढ़ता है, इसलिए HBM-क्लास मेमोरी (जैसे डेटा-सेंटर कार्ड्स में पाई जाती है) समान मॉडल आकार के GDDR-आधारित उपभोक्ता कार्ड्स की तुलना में टोकन तेजी से उत्पन्न करती है। इंटरैक्टिव चैट के लिए, बैंडविड्थ अक्सर कंप्यूट से अधिक महत्वपूर्ण होती है।
• समर्थित प्रिसीजन यह निर्धारित करते हैं कि आप मॉडल को कितनी आक्रामकता से छोटा कर सकते हैं। FP8 और INT8 टेंसर समर्थन वाले कार्ड आपको कम VRAM पर और उच्च थ्रूपुट के साथ बड़े मॉडल सेवा करने देते हैं, बशर्ते आपकी सेवा स्टैक और मॉडल की क्वांटाइजेशन योजना संगत हो।
• इंटरकनेक्ट महत्वपूर्ण होता है जब मॉडल कई GPUs में फैला होता है। टेंसर-पैरालल सेवा हर लेयर पर GPUs के बीच सक्रियणों का आदान-प्रदान करती है, इसलिए एक नोड के अंदर NVLink-क्लास लिंक PCIe-केवल कॉन्फ़िगरेशन की तुलना में बेहतर विलंबता प्रदान करते हैं। एकल-GPU तैनाती के लिए, इंटरकनेक्ट अप्रासंगिक है।

एकल-GPU बनाम मल्टी-GPU सेवा

यदि आपका मॉडल और उसका पीक KV कैश एक GPU पर फिट होता है, तो उसे वहीं रखें। एकल-GPU सेवा पूरी तरह से क्रॉस-डिवाइस संचार ओवरहेड से बचती है और संचालन में सरल होती है। केवल तभी टेंसर पैरेललिज़्म या मल्टी-नोड सेवा की ओर बढ़ें जब मॉडल वास्तव में फिट न हो सके, क्योंकि हर GPU जोड़ने से सिंक्रोनाइज़ेशन लागत बढ़ती है और ऑटोस्केलिंग जटिल हो जाता है। जब आपको कई GPUs की आवश्यकता हो, तो ऊपर सूचीबद्ध उदाहरणों में से उन उदाहरणों को प्राथमिकता दें जो उच्च-मेमोरी कार्ड्स को तेज़ इन-नोड इंटरकनेक्ट के साथ जोड़ते हैं बजाय ढीले जुड़े कार्ड्स के।

प्रदाता की ऐसी विशेषताएँ जो सेवा के लिए महत्वपूर्ण हैं, प्रशिक्षण के लिए नहीं

सिलिकॉन से परे, प्रदाता का परिचालन मॉडल यह तय करता है कि तैनाती व्यावहारिक है या नहीं। ऊपर दी गई तुलना को प्रशिक्षण रन के बजाय सेवा कार्यभार के लिए स्कैन करते समय, प्राथमिकता अलग रखें:

• कोल्ड-स्टार्ट और सेटअप समय पहली प्राथमिकता बन जाते हैं। एक सेवा एंडपॉइंट जो ट्रैफ़िक स्पाइक्स के बीच शून्य तक स्केल करता है, हर स्केल-अप पर कोल्ड-स्टार्ट लागत चुकाता है, इसलिए तेज़ प्रावधान और इमेज कैशिंग सीधे टेल विलंबता को प्रभावित करते हैं।
• बिलिंग ग्रैन्युलैरिटी अचानक ट्रैफ़िक की अर्थव्यवस्था बदल देती है। प्रति सेकंड या प्रति मिनट बिलिंग उन ऑटोस्केलिंग एंडपॉइंट्स के लिए उपयुक्त होती है जो इंस्टेंस को ऊपर-नीचे घुमाते हैं; मोटी प्रति घंटे बिलिंग उस पैटर्न को दंडित करती है।
• स्पॉट के मुकाबले ऑन-डिमांड विश्वसनीयता आमतौर पर सही विकल्प होती है। इंटरप्टिबल या स्पॉट इंस्टेंस प्रशिक्षण और बैच जॉब्स के लिए उत्कृष्ट होते हैं लेकिन उपयोगकर्ता-समक्ष एंडपॉइंट के लिए जोखिम भरे होते हैं, जहाँ अनुरोध के बीच पुनः प्राप्ति लाइव ट्रैफ़िक को गिरा देती है। स्पॉट अभी भी गैर-इंटरैक्टिव बैच इन्फरेंस के लिए अच्छी सेवा दे सकता है।
• स्थायी भंडारण और तेज़ मॉडल लोडिंग पुनः आरंभ की परेशानी को कम करते हैं। हर पुनः आरंभ पर ठंडे ऑब्जेक्ट स्टोरेज से मल्टी-गीगाबाइट वज़न पुनः लोड करना मिनटों का डाउनटाइम जोड़ता है; कैश्ड या संलग्न वॉल्यूम इसे कम करते हैं।
• नेटवर्किंग और आउटगोइंग बड़े पैमाने पर लागत को प्रभावित करते हैं। उच्च-थ्रूपुट इन्फरेंस बहुत डेटा बाहर भेज सकता है; उच्च-ट्रैफ़िक तैनाती से पहले आउटगोइंग नियमों की जांच करें।

बैच बनाम रियल-टाइम, और लागत कहाँ आती है

जल्दी तय करें कि आप किस मोड के लिए अनुकूलन कर रहे हैं। रियल-टाइम इंटरैक्टिव सेवा कम समय-से-प्रथम-टोकन और स्थिर प्रति-उपयोगकर्ता टोकन दरों को महत्व देती है, जो उच्च-बैंडविड्थ मेमोरी और मध्यम बैच आकारों को प्राथमिकता देती है। बैच या ऑफ़लाइन इन्फरेंस कुल थ्रूपुट को महत्व देती है और बड़े बैचों को सस्ते या इंटरप्टिबल हार्डवेयर पर पैक कर सकती है, प्रति-आवेदन विलंबता के बदले प्रति टोकन लागत में बहुत सुधार करती है। कई टीमें दोनों चलाती हैं: लाइव उपयोगकर्ताओं के लिए एक उत्तरदायी ऑन-डिमांड स्तर और बड़े पैमाने पर उत्पादन के लिए स्पॉट-समर्थित बैच स्तर।

किराए की लागत पर, सेवा पूरे स्पेक्ट्रम में होती है। एक छोटा क्वांटाइज़्ड मॉडल एक मध्यम-स्तरीय कार्ड पर सस्ता और व्यापक रूप से उपलब्ध होता है; फ्रंटियर मॉडल मल्टी-GPU उच्च-मेमोरी नोड्स पर दुर्लभ, महंगे, और कभी-कभी मांग के शिखर के दौरान क्षमता-सीमित होते हैं। क्योंकि दरें लगातार बदलती रहती हैं और क्षेत्र और प्रतिबद्धता के अनुसार भिन्न होती हैं, ऊपर दी गई लाइव तुलना को सत्य स्रोत मानें बजाय किसी निश्चित आंकड़े के, और उदाहरणों की तुलना VRAM, बैंडविड्थ वर्ग, इंटरकनेक्ट, और बिलिंग मॉडल के आधार पर करें न कि केवल शीर्षक मूल्य के आधार पर।

अक्सर पूछे जाने वाले प्रश्न

LLM सेवा के लिए मुझे कितनी VRAM चाहिए?

अपने चुने हुए प्रिसीजन पर मॉडल वज़न के लिए बजट बनाएं और KV कैश के लिए पर्याप्त हेडरूम रखें, जो संदर्भ लंबाई और समवर्ती उपयोगकर्ताओं के साथ बढ़ता है। एक मोटे अनुमान के रूप में, क्वांटाइज़्ड छोटे और मध्यम आकार के मॉडल एक मध्यम-स्तरीय कार्ड से सेवा करते हैं, जबकि उच्च प्रिसीजन में बड़े मॉडल को उच्च-मेमोरी कार्ड या कई GPUs की आवश्यकता होती है। हमेशा पीक समवर्तीता के लिए आकार निर्धारित करें, निष्क्रियता के लिए नहीं।

क्या स्पॉट या इंटरप्टिबल GPUs LLM सेवा के लिए उपयुक्त हैं?

उपयोगकर्ता-समक्ष रियल-टाइम एंडपॉइंट्स के लिए, आमतौर पर नहीं, क्योंकि पुनः प्राप्ति लाइव अनुरोधों को गिरा सकती है और ठंडे पुनः आरंभ को मजबूर कर सकती है। स्पॉट इंस्टेंस ऑफ़लाइन या बैच इन्फरेंस के लिए उपयुक्त हैं, जहाँ व्यवधान केवल थ्रूपुट को विलंबित करते हैं न कि इंटरैक्टिव सत्र को तोड़ते हैं। कई टीमें लाइव ट्रैफ़िक के लिए ऑन-डिमांड क्षमता रखती हैं और बड़े कार्यों के लिए स्पॉट का उपयोग करती हैं।

सेवा के लिए मेमोरी बैंडविड्थ कंप्यूट से अधिक क्यों महत्वपूर्ण है?

टोकन-दर-टोकन डिकोडिंग हर उत्पन्न टोकन के लिए मेमोरी से मॉडल के वज़न पढ़ती है, इसलिए जनरेशन गति इस बात पर निर्भर करती है कि GPU मेमोरी को कितनी तेज़ी से स्ट्रीम करता है न कि उसके पीक FLOPS पर। यही कारण है कि HBM-सुसज्जित डेटा-सेंटर कार्ड्स समान मॉडल रखने वाले उपभोक्ता कार्ड्स की तुलना में टोकन तेजी से उत्पन्न करते हैं, और यही कारण है कि ऊपर तुलना में बैंडविड्थ एक प्रमुख स्तंभ है।

मुझे एक GPU पर सेवा करनी चाहिए या कई GPUs में विभाजित करनी चाहिए?

जब भी मॉडल और उसका पीक KV कैश फिट हो, एकल GPU का उपयोग करें, क्योंकि इससे क्रॉस-डिवाइस संचार से बचा जा सकता है और स्केलिंग सरल होती है। केवल तब मल्टी-GPU टेंसर पैरेललिज़्म पर जाएं जब मॉडल वास्तव में फिट न हो सके, और जब जाएं, तो ऐसे उदाहरण चुनें जो उच्च-मेमोरी कार्ड्स को तेज़ इन-नोड इंटरकनेक्ट के साथ जोड़ते हों।