स्पॉट / प्रीएम्प्टिबल इंस्टेंस के साथ क्लाउड GPU प्रदाता

स्पॉट और प्रीएम्प्टिबल GPU इंस्टेंस वास्तव में क्या हैं

एक स्पॉट या प्रीएम्प्टिबल GPU इंस्टेंस एक प्रदाता के अतिरिक्त क्षमता पूल से भारी छूट पर किराए पर लिया जाता है, एक महत्वपूर्ण शर्त के बदले में: प्रदाता किसी भी समय मशीन को वापस ले सकता है, आमतौर पर बहुत कम या बिना किसी चेतावनी के। हार्डवेयर उसी GPU के ऑन-डिमांड संस्करण के समान होता है — वही VRAM, वही टेंसर कोर, वही इंटरकनेक्ट — लेकिन इसकी उपलब्धता के संदर्भ में अनुबंध अलग होता है। आप ऐसा कंप्यूट खरीद रहे हैं जो सस्ता है क्योंकि वह बाधित किया जा सकता है। ऊपर सूचीबद्ध प्रत्येक प्रदाता जो स्पॉट या प्रीएम्प्टिबल क्षमता प्रदान करता है, इस व्यापार को किसी न किसी रूप में प्रकट करता है, हालांकि नाम अलग-अलग हो सकते हैं: स्पॉट, प्रीएम्प्टिबल, इंटरप्टिबल, कम्युनिटी, या सरप्लस इंस्टेंस सभी एक ही मूल विचार का वर्णन करते हैं।

यह छूट इसलिए होती है क्योंकि डेटा केंद्र शायद ही कभी 100% उपयोग पर चलते हैं। निष्क्रिय GPU कुछ कमाते नहीं हैं, इसलिए प्रदाता उस खाली समय को मानक दर के एक अंश पर बेचते हैं और स्वीकार करते हैं कि उन्हें इसे वापस लेना पड़ सकता है जब कोई पूर्ण मूल्य ग्राहक इसे चाहता है, या जब उनकी अपनी अनुसूची की आवश्यकताएँ बदलती हैं। किराएदार के लिए इसका मतलब है कि शीर्षक बचत वास्तविक है, लेकिन इसके साथ संचालन संबंधी जिम्मेदारियाँ आती हैं जो आपको गारंटीकृत ऑन-डिमांड नोड पर नहीं होतीं।

वास्तविक कार्यभार के लिए इंटरप्टिबल मूल्य निर्धारण क्यों महत्वपूर्ण है

स्पॉट क्षमता को समझने का कारण यह है कि GPU किराया महंगा होता है, और इंटरप्टिबल इंस्टेंस पर छूट अक्सर इतनी बड़ी होती है कि यह तय करती है कि कौन से प्रोजेक्ट आर्थिक रूप से व्यवहार्य हैं। पकड़ यह है कि हर कार्यभार मध्य-रन में बंद होने को सहन नहीं करता। निर्णायक कारक लगभग हमेशा यह होता है कि आपका काम कितनी अच्छी तरह से चेकपॉइंट करता है और फिर से शुरू होता है.

• उत्तम उपयुक्तता: लंबे प्रशिक्षण और फाइन-ट्यूनिंग रन जो हर कुछ मिनटों में टिकाऊ संग्रहण पर चेकपॉइंट सेव करते हैं, बड़े बैच-इन्फरेंस या एम्बेडिंग जॉब, ऑफलाइन रेंडरिंग, हाइपरपैरामीटर स्वीप जहां व्यक्तिगत परीक्षण स्वतंत्र होते हैं, और कोई भी पाइपलाइन जो पहले से ही फॉल्ट टॉलरेंस के आसपास बनी हो।
• खराब उपयुक्तता: लाइव एप्लिकेशन को सेवा देने वाला रियल-टाइम या कम-लेटेंसी इन्फरेंस, इंटरैक्टिव विकास सत्र जहां बॉक्स खोने का मतलब असुरक्षित काम खोना होता है, और कड़ाई से सिंक्रनाइज़्ड मल्टी-GPU प्रशिक्षण जो एक नोड के गायब होने पर सहजता से पुनर्प्राप्त नहीं हो सकता।

मानसिक मॉडल सरल है: यदि इंस्टेंस खोने से आपको केवल आपके अंतिम चेकपॉइंट के बाद के मिनटों का नुकसान होता है, तो स्पॉट लगभग हमेशा सही विकल्प है। यदि इसे खोने से आपको एक अनुरोध, एक ग्राहक, या कई घंटों की असुरक्षित स्थिति का नुकसान होता है, तो ऑन-डिमांड प्रीमियम आपको वह मानसिक शांति देता है जिसके लिए भुगतान करना उचित है।

विचार करने योग्य ट्रेड-ऑफ

बाधा सबसे स्पष्ट लागत है, लेकिन यह अकेली लागत नहीं है। जब आप प्रदाताओं की तुलना इस आयाम पर करते हैं, तो पूरी तस्वीर को ध्यान में रखें:

• रिटेक व्यवहार: कुछ प्रदाता एक छोटी समाप्ति सूचना देते हैं (अक्सर कुछ मिनट) ताकि आपका काम स्थिति सहेज सके और साफ-सुथरा बाहर निकल सके; अन्य मशीन को तुरंत वापस ले सकते हैं। एक ग्रेस अवधि अत्यंत मूल्यवान होती है क्योंकि यह आपको अंतिम चेकपॉइंट ट्रिगर करने देती है।
• उपलब्धता में उतार-चढ़ाव: स्पॉट पूल में उतार-चढ़ाव होता है। जिस GPU की आप कीमत पर उम्मीद करते हैं, वह कुछ समय के लिए अनुपलब्ध हो सकता है, और सबसे अधिक मांग वाले त्वरक पुराने या कम लोकप्रिय कार्ड की तुलना में अधिक आक्रामक रूप से वापस लिए जाते हैं।
• इंस्टेंस से अधिक समय तक जीवित रहने वाला संग्रहण: यदि आपके चेकपॉइंट केवल इंस्टेंस के स्थानीय डिस्क पर रहते हैं, तो बाधा उन्हें मिटा देती है। स्पॉट तभी सुरक्षित रूप से काम करता है जब आपका डेटा और चेकपॉइंट स्थायी या नेटवर्क संग्रहण पर होते हैं जो नोड के बाद भी जीवित रहता है।
• पुनः प्रारंभ घर्षण: रिटेक के बाद आपको फिर से क्षमता प्राप्त करनी होती है, कंटेनर इमेज और डेटा पुनः खींचना होता है, और फिर से शुरू करना होता है — इसलिए कोल्ड-स्टार्ट समय और इमेज का आकार आपकी प्रभावी थ्रूपुट और लागत को प्रभावित करता है।

स्पॉट क्षमता किराए पर लेने से पहले क्या जांचें

क्योंकि एक ही शब्द विभिन्न प्रदाताओं के बीच अलग-अलग अर्थ रख सकता है, ऊपर की तुलना का उपयोग करके विशिष्टताओं की पुष्टि करें बजाय अनुमान लगाने के। इंटरप्टिबल इंस्टेंस को काम सौंपने से पहले इस चेकलिस्ट से गुजरें:

• सूचना विंडो: क्या प्रदाता आपको रिटेक से पहले चेतावनी देता है, और ग्रेस अवधि कितनी लंबी है? यहां तक कि 30–120 सेकंड भी आपके चेकपॉइंटिंग डिजाइन को बदल सकते हैं।
• रिटेक कितने आक्रामक हैं: क्या स्पॉट मशीनें केवल वास्तविक क्षमता दबाव के तहत वापस ली जाती हैं, या नियमित पुनर्संतुलन के लिए भी? बार-बार, कम दबाव वाले रिटेक बचत को कम कर देते हैं।
• चेकपॉइंट पाइपलाइन: क्या आप चेकपॉइंट को सस्ते में टिकाऊ ऑब्जेक्ट या नेटवर्क संग्रहण पर लिख सकते हैं, और उन्हें पुनः प्राप्त करने के लिए निकासी उचित है? यह सुरक्षित स्पॉट उपयोग का सबसे महत्वपूर्ण कारक है।
• स्वचालित पुनः अधिग्रहण: क्या प्लेटफ़ॉर्म स्वचालित रूप से आपकी नौकरी को फिर से कतारबद्ध और पुनः शुरू करता है जब क्षमता वापस आती है, या आपको इसे स्वयं स्क्रिप्ट करना होता है? प्रबंधित पुनः कतारबद्धता स्पॉट को बहुत कम हस्तक्षेप वाला बनाती है।
• मल्टी-GPU और मल्टी-नोड व्यवहार: यदि आपको कई GPU एक साथ चाहिए, तो एक खोने से पूरा काम रुक सकता है। जांचें कि क्या प्रदाता समूह को परमाणु रूप से रख सकता है या केवल एकल-GPU स्पॉट प्रदान करता है।
• बिलिंग ग्रैन्युलैरिटी: प्रति सेकंड या प्रति मिनट बिलिंग स्पॉट के साथ अच्छी तरह मेल खाती है क्योंकि आप केवल उस समय के लिए भुगतान करते हैं जब आपने वास्तव में चलाया, बजाय ऊपर की ओर गोल करने के।

कई टीमें एक व्यावहारिक पैटर्न अपनाती हैं जिसे हाइब्रिड सेटअप कहा जाता है: थ्रूपुट-उन्मुख, चेकपॉइंटेबल काम का अधिकांश हिस्सा स्पॉट पर चलाएं ताकि छूट मिल सके, जबकि कोई भी विलंब-संवेदनशील या स्थिति-संबंधी काम के लिए छोटा ऑन-डिमांड पदचिह्न रखें। यह मिश्रण अधिकांश बचत को पकड़ता है बिना आपके पाइपलाइन के उन हिस्सों को जोखिम में डाले जो वास्तव में बाधा सहन नहीं कर सकते।

अक्सर पूछे जाने वाले प्रश्न

क्या स्पॉट GPU इंस्टेंस वापस लिए जाने पर मेरा काम खो जाएगा?

आप उस स्थिति को खो देते हैं जो केवल इंस्टेंस पर मौजूद होती है जब उसे वापस लिया जाता है — जिसमें असुरक्षित प्रगति और स्थानीय-केवल डिस्क पर कुछ भी शामिल है। आपने जो काम पहले से ही स्थायी या नेटवर्क संग्रहण पर लिखा है, वह नहीं खोता। इसलिए बार-बार टिकाऊ संग्रहण पर चेकपॉइंट करना स्पॉट क्षमता का सुरक्षित उपयोग करने का मूल नियम है; अच्छी चेकपॉइंटिंग के साथ आप अधिकतम अपने अंतिम सहेजने के बाद के कुछ मिनटों का नुकसान करते हैं।

क्या स्पॉट और ऑन-डिमांड इंस्टेंस पर GPU हार्डवेयर अलग होता है?

नहीं। स्पॉट और ऑन-डिमांड इंस्टेंस एक ही भौतिक हार्डवेयर से आते हैं, इसलिए GPU, उसका VRAM, उसके टेंसर कोर, और उसका इंटरकनेक्ट समान होते हैं। केवल अंतर उपलब्धता और मूल्य के अनुबंध में है: स्पॉट सस्ता लेकिन बाधित करने योग्य होता है, जबकि ऑन-डिमांड अधिक महंगा होता है और उसे आपके नीचे से वापस नहीं लिया जाता। आप तेज सिलिकॉन के लिए नहीं बल्कि गारंटीकृत निरंतरता के लिए भुगतान कर रहे हैं।

स्पॉट इंस्टेंस ऑन-डिमांड की तुलना में वास्तव में कितना बचा सकते हैं?

छूट आमतौर पर पर्याप्त होती है और यह इंटरप्टिबल क्षमता चुनने का मुख्य कारण है, लेकिन सटीक आंकड़ा प्रदाता, GPU मॉडल, क्षेत्र, और वर्तमान मांग के अनुसार भिन्न होता है, और यह लगातार बदलता रहता है। एक एकल संख्या पर निर्भर रहने के बजाय, ऊपर दी गई लाइव तुलना देखें कि जिस विशेष GPU की आप चाहते हैं उसके लिए वर्तमान स्पॉट बनाम ऑन-डिमांड मूल्य अंतर क्या है।

कौन से कार्यभार कभी भी स्पॉट इंस्टेंस पर नहीं चलाने चाहिए?

स्पॉट से बचें उन सभी के लिए जो अचानक गायब होने से बच नहीं सकते: लाइव, कम-लेटेंसी इन्फरेंस जो उत्पादन एप्लिकेशन के पीछे होता है, इंटरैक्टिव सत्र जिनमें असुरक्षित काम होता है, और कड़ाई से जुड़े मल्टी-GPU जॉब जो एक नोड खोने पर पुनर्प्राप्त नहीं हो सकते। उनके लिए ऑन-डिमांड प्रीमियम इसके लायक है। जो कुछ भी साफ-सुथरे चेकपॉइंट करता है और पुनः आरंभ सहन करता है — प्रशिक्षण, फाइन-ट्यूनिंग, बैच इन्फरेंस, रेंडरिंग, और स्वीप — स्पॉट के लिए उपयुक्त है।