NVLink या InfiniBand के साथ क्लाउड GPU प्रदाता

जब आप मल्टी-GPU कंप्यूट किराए पर लेते हैं तो NVLink और InfiniBand वास्तव में क्या करते हैं

NVLink और InfiniBand मशीन के दो अलग-अलग पक्षों से एक ही मूल समस्या को हल करते हैं: GPUs के बीच डेटा इतनी तेज़ी से स्थानांतरित करना कि एक्सेलेरेटर अपना समय गणना में बिताएं न कि इंतजार में। ऊपर का फ़िल्टर उन क्लाउड इंस्टेंस को संकीर्ण करता है जो एक या दोनों इंटरकनेक्ट को एक्सपोज़ करते हैं। ये एक-दूसरे के स्थान पर नहीं हैं — एक इन्ट्रा-नोड फैब्रिक है जो एक ही सर्वर के अंदर GPUs को जोड़ता है, और दूसरा इंटर-नोड फैब्रिक है जो सर्वरों को एक क्लस्टर में जोड़ता है। किसी भी वर्कलोड के लिए जो एक से अधिक GPU पर फैला हो, इंटरकनेक्ट अक्सर लगभग-रेखीय स्केलिंग और एक ऐसी सेटअप के बीच का अंतर होता है जहाँ GPUs जोड़ने से बहुत कम मदद मिलती है।

NVLink: एक बॉक्स के अंदर GPUs के बीच तेज़ मार्ग

NVLink NVIDIA का डायरेक्ट GPU-से-GPU लिंक है। होस्ट PCIe बस और CPU के माध्यम से ट्रैफ़िक रूटिंग करने के बजाय, NVLink GPUs को एक-दूसरे से जोड़ता है (और कुछ प्लेटफार्मों पर NVSwitch क्रॉसबॉर के माध्यम से) ताकि नोड में हर GPU हर दूसरे GPU से उच्च बैंडविड्थ और कम विलंबता के साथ बात कर सके। जब आप NVLink-सुसज्जित इंस्टेंस किराए पर लेते हैं तो व्यावहारिक परिणाम होता है:

• PCIe-केवल नोड्स की तुलना में बहुत अधिक GPU-से-GPU बैंडविड्थ, जो हर कदम पर ग्रेडिएंट्स, एक्टिवेशन, या मॉडल शार्ड्स के आदान-प्रदान के लिए महत्वपूर्ण होता है।
• GPU के बीच पूल्ड मेमोरी व्यावहारिक रूप में — एक मॉडल जो एक GPU के VRAM के लिए बहुत बड़ा है, उसे NVLink डोमेन में विभाजित किया जा सकता है जहाँ क्रॉस-GPU ट्रैफ़िक तेज़ फैब्रिक पर रहता है न कि PCIe के ऊपर धीरे-धीरे चलता है।
• संकलन संचालन जैसे ऑल-रिड्यूस के लिए कम सिंक्रोनाइज़ेशन ओवरहेड, जो डेटा-पैरलल प्रशिक्षण में प्रमुख होते हैं।

NVLink एक ही नोड के अंदर रहता है, इसलिए इसका दायरा आमतौर पर 2, 4, या 8 GPUs होता है जो सर्वर डिज़ाइन पर निर्भर करता है। यदि ऊपर सूची में कोई प्रदाता “NVLink के साथ 8-GPU नोड” का विज्ञापन करता है, तो इसका मतलब है कि वे आठ कार्ड कड़ी तरह से जुड़े हुए हैं। यह अपने आप में यह नहीं बताता कि वह नोड अन्य नोड्स से कैसे जुड़ा है।

InfiniBand: वह फैब्रिक जो कई सर्वरों को एक क्लस्टर में बदल देता है

InfiniBand एक नेटवर्किंग तकनीक है जिसका उपयोग अलग-अलग GPU सर्वरों को जोड़ने के लिए किया जाता है। जब प्रशिक्षण कार्य एक ही नोड से बाहर निकल जाता है, तो बाधा बॉक्स के अंदर से बॉक्स के बीच चली जाती है, और सामान्य ईथरनेट नेटवर्किंग GPUs को रोक सकती है। InfiniBand इसे बहुत उच्च प्रति-लिंक थ्रूपुट, कम और पूर्वानुमानित विलंबता, और RDMA (रिमोट डायरेक्ट मेमोरी एक्सेस) के साथ संबोधित करता है, जो एक सर्वर को दूसरे सर्वर की मेमोरी को पढ़ने या लिखने की अनुमति देता है बिना दोनों पक्षों के CPU को शामिल किए। GPUDirect RDMA के साथ मिलकर, डेटा GPU से GPU तक नोड्स के बीच मेजबान मेमोरी कॉपी को लगभग बायपास करते हुए स्थानांतरित हो सकता है।

मल्टी-नोड प्रशिक्षण के लिए, यही वह चीज़ है जो स्केलिंग को कुशल बनाए रखती है। उदाहरण के लिए, दर्जनों या सैकड़ों GPUs के क्लस्टर एक बड़े मॉडल को उचित समय में प्रशिक्षित कर सकते हैं क्योंकि इंटर-नोड फैब्रिक उस सामूहिक संचार की मांग के साथ तालमेल बनाए रखता है जो एल्गोरिदम करता है। सामान्य नेटवर्किंग पर गिरने पर वही कार्य अपना अधिकांश समय नेटवर्क पर इंतजार करते हुए बिता सकता है।

कौन से वर्कलोड को वास्तव में इसकी आवश्यकता होती है

NVLink या InfiniBand के लिए फ़िल्टर करना तब समझदारी होती है जब संचार, केवल कच्ची गणना नहीं, महत्वपूर्ण मार्ग पर हो:

• बड़े मॉडल का प्रशिक्षण और फाइन-ट्यूनिंग जो पैरामीटर, ऑप्टिमाइज़र स्टेट, या लेयर्स को GPUs में विभाजित करते हैं (टेंसर, पाइपलाइन, या पूर्ण रूप से शार्डेड डेटा पैरेललिज़्म) — ये योजनाएं लगातार क्रॉस-GPU ट्रैफ़िक उत्पन्न करती हैं और नोड के भीतर NVLink और नोड्स के बीच InfiniBand से सबसे अधिक लाभान्वित होती हैं।
• मल्टी-नोड वितरित प्रशिक्षण जहाँ कार्य एक सर्वर में फिट नहीं होता — यहाँ InfiniBand स्केलिंग दक्षता के लिए निर्णायक कारक है।
• HPC और वैज्ञानिक सिमुलेशन जिसमें कड़ा इंटर-प्रोसेस संचार होता है, जो वर्षों से InfiniBand और RDMA पर निर्भर रहा है।
• बड़े संदर्भ या बड़े मॉडल का अनुमान जो एक मॉडल को कई GPUs में विभाजित करता है, जहाँ NVLink क्रॉस-GPU ध्यान और वज़न पहुँच की विलंबता दंड को कम करता है।

यह एकल-GPU कार्य के लिए वास्तव में अत्यधिक है। एक छोटे मॉडल का फाइन-ट्यूनिंग, एक कार्ड पर फिट होने वाला बैच अनुमान, अधिकांश रेंडरिंग कार्य, और प्रयोग सभी स्वतंत्र GPU पर अच्छी तरह चलते हैं। यदि आपका कार्य कभी GPU सीमा को पार नहीं करता है, तो एक कड़ी तरह से इंटरकनेक्टेड नोड या InfiniBand क्लस्टर के लिए प्रीमियम भुगतान करने से कोई लाभ नहीं होता।

किराए पर लेने से पहले क्या जांचें

दोनों इंटरकनेक्ट अक्सर मार्केटिंग कॉपी में भ्रमित हो जाते हैं, इसलिए ऊपर की तुलना के खिलाफ विशिष्टताओं की पुष्टि करें:

• दायरा — पुष्टि करें कि सूची में NVLink (नोड के भीतर GPU कूपलिंग) या InfiniBand (नोड के बीच नेटवर्किंग) का मतलब है। एक सिंगल-नोड इंस्टेंस में NVLink हो सकता है और बिल्कुल भी InfiniBand नहीं हो सकता।
• टोपोलॉजी और चौड़ाई — कितने GPUs NVLink डोमेन साझा करते हैं (पूर्ण NVSwitch ऑल-टू-ऑल बनाम आंशिक ब्रिज), और InfiniBand लिंक रेट और क्या RDMA/GPUDirect सक्षम है।
• पीढ़ी — नए GPU पीढ़ियाँ उच्च-बैंडविड्थ NVLink लेकर आती हैं; केवल “NVLink” लेबल आपको गति नहीं बताता।
• मल्टी-नोड उपलब्धता — क्या आप वास्तव में कई इंटरकनेक्टेड नोड्स आरक्षित कर सकते हैं, और क्या वे डेटा सेंटर में बिखरे होने के बजाय एक ही फैब्रिक में आते हैं।
• सॉफ़्टवेयर समर्थन — कि NCCL, MPI, और आपका फ्रेमवर्क फैब्रिक को देखता है और उपयोग करता है; गलत कॉन्फ़िगरेशन चुपचाप धीमे रास्तों पर वापस चला जाता है।

लागत और उपलब्धता पर, इंटरकनेक्ट-समृद्ध इंस्टेंस स्पेक्ट्रम के उच्च अंत की ओर होते हैं। NVLink-सुसज्जित मल्टी-GPU नोड्स और InfiniBand-संपर्कित क्लस्टर प्रीमियम हार्डवेयर का उपयोग करते हैं और लगातार मांग में रहते हैं, इसलिए ऑन-डिमांड क्षमता अधिक तंग होती है और स्पॉट या इंटरप्टिबल विकल्प एकल कॉमोडिटी GPUs की तुलना में कम होते हैं। विशेष रूप से मल्टी-नोड InfiniBand आवंटन अक्सर गेटेड, आरक्षित, या बड़े ब्लॉकों में बेचे जाते हैं। ऊपर की तालिका में कीमतों को लाइव संदर्भ के रूप में लें, क्योंकि दरें प्रदाता के अनुसार बदलती और भिन्न होती हैं।

अक्सर पूछे जाने वाले प्रश्न

क्या मुझे दोनों NVLink और InfiniBand की आवश्यकता है?

यह पैमाने पर निर्भर करता है। एक सिंगल-नोड मल्टी-GPU कार्य को केवल NVLink की आवश्यकता होती है। जैसे ही आपका प्रशिक्षण कई सर्वरों में फैलता है, आप उन नोड्स को जोड़ने के लिए InfiniBand भी चाहते हैं — ये दोनों अलग-अलग स्तरों पर काम करते हैं, इसलिए एक बड़ा क्लस्टर आमतौर पर प्रत्येक बॉक्स के अंदर NVLink और बॉक्सों के बीच InfiniBand पर निर्भर करता है।

क्या मेरा एकल-GPU कार्य NVLink या InfiniBand इंस्टेंस पर तेज़ चलेगा?

नहीं। दोनों इंटरकनेक्ट केवल तब मायने रखते हैं जब डेटा GPUs के बीच या नोड्स के बीच चलता है। एक कार्य जो एक GPU पर फिट होता है वह किसी भी फैब्रिक को छूता नहीं है, इसलिए आप ऐसी क्षमता के लिए प्रीमियम भुगतान करेंगे जिसका आप उपयोग नहीं कर सकते। केवल तब इनके लिए फ़िल्टर करें जब आप एक GPU से अधिक स्केल कर रहे हों।

बड़े प्रशिक्षण कार्यों के लिए प्रति-GPU विनिर्देशों की तुलना में इंटरकनेक्ट क्यों अधिक महत्वपूर्ण है?

वितरित प्रशिक्षण प्रत्येक चरण का एक बड़ा हिस्सा ग्रेडिएंट्स और एक्टिवेशन के आदान-प्रदान में बिताता है। यदि फैब्रिक तालमेल नहीं रख पाता, तो GPUs सिंक्रोनाइज़ेशन के लिए इंतजार करते हुए निष्क्रिय हो जाते हैं, और अधिक GPUs जोड़ने से लाभ कम होता जाता है। एक तेज़ इंटरकनेक्ट वह है जो एक्सेलेरेटर जोड़ने पर लगभग-रेखीय स्केलिंग बनाए रखता है।

क्या NVLink हर मल्टी-GPU इंस्टेंस पर उपलब्ध है?

नहीं। कुछ मल्टी-GPU नोड्स केवल PCIe के माध्यम से अपने कार्ड्स को जोड़ते हैं, जिसमें GPU-से-GPU बैंडविड्थ बहुत कम होती है। कई GPUs होने का मतलब NVLink होना जरूरी नहीं है, इसलिए GPU संख्या से यह मानने के बजाय ऊपर की तुलना में इंटरकनेक्ट की स्पष्ट पुष्टि करें।