NVLink या InfiniBand के साथ क्लाउड GPU प्रदाता

जब आप मल्टी-GPU कंप्यूट किराए पर लेते हैं तो NVLink और InfiniBand वास्तव में क्या करते हैं

NVLink और InfiniBand मशीन के दो अलग-अलग पक्षों से एक ही मूल समस्या का समाधान करते हैं: GPUs के बीच डेटा इतनी तेजी से स्थानांतरित करना कि एक्सेलेरेटर अपना समय कंप्यूटिंग में बिताएं, न कि इंतजार में। ऊपर दिया गया फ़िल्टर उन क्लाउड इंस्टेंस को संकीर्ण करता है जो इनमें से एक या दोनों इंटरकनेक्ट्स को एक्सपोज़ करते हैं। ये एक-दूसरे के विकल्प नहीं हैं — एक इंट्रा-नोड फैब्रिक है जो एक ही सर्वर के अंदर GPUs को जोड़ता है, और दूसरा इंटर-नोड फैब्रिक है जो सर्वरों को एक क्लस्टर में जोड़ता है। किसी भी वर्कलोड के लिए जो एक से अधिक GPU पर फैला हो, इंटरकनेक्ट अक्सर लगभग-रेखीय स्केलिंग और ऐसी सेटअप के बीच का अंतर होता है जहां GPU जोड़ने से बहुत कम मदद मिलती है।

NVLink: एक बॉक्स के अंदर GPUs के बीच तेज़ मार्ग

NVLink NVIDIA का डायरेक्ट GPU-से-GPU लिंक है। होस्ट PCIe बस और CPU के माध्यम से ट्रैफ़िक रूट करने के बजाय, NVLink GPUs को एक-दूसरे से जोड़ता है (और कुछ प्लेटफ़ॉर्म पर NVSwitch क्रॉसबॉर के माध्यम से) ताकि नोड में हर GPU हर दूसरे GPU से उच्च बैंडविड्थ और कम विलंबता के साथ बात कर सके। जब आप NVLink-सुसज्जित इंस्टेंस किराए पर लेते हैं तो व्यावहारिक परिणाम होता है:

• PCIe-केवल नोड्स की तुलना में बहुत अधिक GPU-से-GPU बैंडविड्थ, जो तब महत्वपूर्ण होता है जब हर चरण पर ग्रेडिएंट्स, एक्टिवेशन या मॉडल शार्ड्स का आदान-प्रदान करना होता है।
• GPU के बीच पूल्ड मेमोरी व्यवहार में — एक मॉडल जो एक GPU के VRAM के लिए बहुत बड़ा है, उसे NVLink डोमेन में विभाजित किया जा सकता है, जिसमें क्रॉस-GPU ट्रैफ़िक तेज़ फैब्रिक पर रहता है न कि PCIe पर धीरे-धीरे चलता है।
• कम सिंक्रोनाइज़ेशन ओवरहेड सामूहिक ऑपरेशंस जैसे ऑल-रिड्यूस के लिए, जो डेटा-पैरलल ट्रेनिंग में प्रमुख होते हैं।

NVLink एक ही नोड के अंदर रहता है, इसलिए इसका दायरा आमतौर पर 2, 4, या 8 GPUs होता है, जो सर्वर डिज़ाइन पर निर्भर करता है। यदि ऊपर सूची में कोई प्रदाता “NVLink के साथ 8-GPU नोड” का विज्ञापन करता है, तो इसका मतलब है कि वे आठ कार्ड कड़े तौर पर जुड़े हुए हैं। यह अपने आप में यह नहीं बताता कि वह नोड अन्य नोड्स से कैसे जुड़ा है।

InfiniBand: वह फैब्रिक जो कई सर्वरों को एक क्लस्टर में बदल देता है

InfiniBand एक नेटवर्किंग तकनीक है जिसका उपयोग अलग-अलग GPU सर्वरों को जोड़ने के लिए किया जाता है। जब ट्रेनिंग जॉब्स एक नोड से बाहर निकल जाते हैं, तो बाधा बॉक्स के अंदर से बॉक्स के बीच चली जाती है, और सामान्य ईथरनेट नेटवर्किंग GPUs को रोक सकती है। InfiniBand इसे बहुत उच्च प्रति-लिंक थ्रूपुट, कम और पूर्वानुमानित विलंबता, और RDMA (रिमोट डायरेक्ट मेमोरी एक्सेस) के साथ संबोधित करता है, जो एक सर्वर को दूसरे सर्वर की मेमोरी को CPU को शामिल किए बिना पढ़ने या लिखने देता है। GPUDirect RDMA के साथ मिलकर, डेटा GPU से GPU तक नोड्स के बीच मेजबान मेमोरी कॉपीज़ को लगभग बायपास करते हुए स्थानांतरित हो सकता है।

मल्टी-नोड ट्रेनिंग के लिए, यही वह चीज़ है जो स्केलिंग को कुशल बनाए रखती है। उदाहरण के लिए, दर्जनों या सैकड़ों GPUs के क्लस्टर एक बड़े मॉडल को उचित समय में ट्रेन कर सकते हैं क्योंकि इंटर-नोड फैब्रिक उस सामूहिक संचार के साथ तालमेल बनाए रखता है जिसकी एल्गोरिदम मांग करता है। सामान्य नेटवर्किंग पर जाने पर वही जॉब अपनी दीवार-क्लॉक समय का बड़ा हिस्सा नेटवर्क पर इंतजार करते हुए बिता सकता है।

कौन से वर्कलोड्स को वास्तव में इसकी ज़रूरत होती है

NVLink या InfiniBand के लिए फ़िल्टरिंग तब समझ में आती है जब संचार, केवल कच्चे कंप्यूट के अलावा, महत्वपूर्ण मार्ग पर हो:

• बड़े मॉडल की ट्रेनिंग और फाइन-ट्यूनिंग जो पैरामीटर, ऑप्टिमाइज़र स्टेट, या लेयर्स को GPUs के बीच शार्ड करते हैं (टेंसर, पाइपलाइन, या पूरी तरह से शार्डेड डेटा पैरेललिज़्म) — ये योजनाएं लगातार क्रॉस-GPU ट्रैफ़िक उत्पन्न करती हैं और नोड के अंदर NVLink और नोड्स के बीच InfiniBand से सबसे अधिक लाभान्वित होती हैं।
• मल्टी-नोड वितरित ट्रेनिंग जहां जॉब एक सर्वर में फिट नहीं होता — यहाँ InfiniBand स्केलिंग दक्षता के लिए निर्णायक कारक है।
• HPC और वैज्ञानिक सिमुलेशन जिसमें कड़ी इंटर-प्रोसेस संचार होता है, जो वर्षों से InfiniBand और RDMA पर निर्भर रहा है।
• बड़े संदर्भ या बड़े मॉडल का इन्फरेंस जो एक मॉडल को कई GPUs में विभाजित करता है, जहाँ NVLink क्रॉस-GPU ध्यान और वज़न पहुँच की विलंबता दंड को कम करता है।

यह एकल-GPU कार्य के लिए वास्तव में ज़रूरत से ज्यादा है। एक छोटे मॉडल को फाइन-ट्यून करना, एक कार्ड पर फिट होने वाली बैच इन्फरेंस चलाना, अधिकांश रेंडरिंग जॉब्स, और प्रयोग सभी एक स्टैंडअलोन GPU पर ठीक चलते हैं। यदि आपका जॉब कभी GPU सीमा को पार नहीं करता, तो एक कड़े जुड़े नोड या InfiniBand क्लस्टर के लिए प्रीमियम भुगतान करने से कोई लाभ नहीं होता।

किराए पर लेने से पहले क्या जांचें

दोनों इंटरकनेक्ट्स को अक्सर मार्केटिंग कॉपी में मिलाया जाता है, इसलिए ऊपर दिए गए तुलना के अनुसार विशिष्टताओं को सत्यापित करें:

• दायरा — पुष्टि करें कि सूची में NVLink (नोड के भीतर GPU कूपलिंग) है या InfiniBand (नोड के बीच नेटवर्किंग)। एक सिंगल-नोड इंस्टेंस में NVLink हो सकता है और बिल्कुल भी InfiniBand नहीं हो सकता।
• टोपोलॉजी और चौड़ाई — कितने GPUs NVLink डोमेन साझा करते हैं (पूर्ण NVSwitch ऑल-टू-ऑल बनाम आंशिक ब्रिज), और InfiniBand लिंक दर तथा RDMA/GPUDirect सक्षम है या नहीं।
• पीढ़ी — नए GPU पीढ़ियाँ उच्च-बैंडविड्थ NVLink ले जाती हैं; केवल “NVLink” लेबल आपको गति नहीं बताता।
• मल्टी-नोड उपलब्धता — क्या आप वास्तव में कई इंटरकनेक्टेड नोड्स आरक्षित कर सकते हैं, और क्या वे एक ही फैब्रिक में उतरते हैं न कि डेटा सेंटर में बिखरे हुए।
• सॉफ्टवेयर समर्थन — कि NCCL, MPI, और आपका फ्रेमवर्क फैब्रिक को देखता है और उपयोग करता है; गलत कॉन्फ़िगरेशन चुपचाप धीमे रास्तों पर लौट जाता है।

लागत और उपलब्धता पर, इंटरकनेक्ट-समृद्ध इंस्टेंस स्पेक्ट्रम के उच्च अंत की ओर होते हैं। NVLink-सुसज्जित मल्टी-GPU नोड्स और InfiniBand-से जुड़े क्लस्टर प्रीमियम हार्डवेयर का उपयोग करते हैं और लगातार मांग में रहते हैं, इसलिए ऑन-डिमांड क्षमता तंग होती है और स्पॉट या इंटरप्टिबल विकल्प एकल कॉमोडिटी GPUs की तुलना में कम होते हैं। विशेष रूप से मल्टी-नोड InfiniBand आवंटन अक्सर गेटेड, आरक्षित, या बड़े ब्लॉकों में बेचे जाते हैं। ऊपर तालिका में कीमतों को लाइव संदर्भ के रूप में लें, क्योंकि दरें बदलती रहती हैं और प्रदाता के अनुसार भिन्न होती हैं।

अक्सर पूछे जाने वाले प्रश्न

क्या मुझे दोनों NVLink और InfiniBand की ज़रूरत है?

यह स्केल पर निर्भर करता है। एक सिंगल-नोड मल्टी-GPU जॉब को केवल NVLink की ज़रूरत होती है। जैसे ही आपकी ट्रेनिंग कई सर्वरों में फैलती है, आप उन नोड्स को जोड़ने के लिए InfiniBand भी चाहते हैं — ये दोनों अलग-अलग स्तरों पर काम करते हैं, इसलिए एक बड़ा क्लस्टर आमतौर पर हर बॉक्स के अंदर NVLink और बॉक्स के बीच InfiniBand पर निर्भर करता है।

क्या मेरा एकल-GPU वर्कलोड NVLink या InfiniBand इंस्टेंस पर तेज़ चलेगा?

नहीं। दोनों इंटरकनेक्ट्स केवल तब मायने रखते हैं जब डेटा GPUs के बीच या नोड्स के बीच चलता है। एक वर्कलोड जो एक GPU में फिट होता है, वह किसी भी फैब्रिक को छूता नहीं है, इसलिए आप ऐसी क्षमता के लिए प्रीमियम भुगतान करेंगे जिसका आप उपयोग नहीं कर सकते। केवल तब फ़िल्टर करें जब आप एक GPU से अधिक स्केल कर रहे हों।

बड़े ट्रेनिंग जॉब्स के लिए प्रति-GPU स्पेक्स की तुलना में इंटरकनेक्ट क्यों अधिक महत्वपूर्ण है?

वितरित ट्रेनिंग प्रत्येक चरण का बड़ा हिस्सा ग्रेडिएंट्स और एक्टिवेशन के आदान-प्रदान में बिताती है। यदि फैब्रिक गति बनाए नहीं रख पाता, तो GPUs सिंक्रोनाइज़ेशन के लिए इंतजार करते हुए निष्क्रिय हो जाते हैं, और अधिक GPUs जोड़ने से लाभ कम होता जाता है। एक तेज़ इंटरकनेक्ट वह है जो एक्सेलेरेटर जोड़ने पर लगभग-रेखीय स्केलिंग बनाए रखता है।

क्या हर मल्टी-GPU इंस्टेंस पर NVLink उपलब्ध है?

नहीं। कुछ मल्टी-GPU नोड्स अपने कार्ड्स को केवल PCIe के माध्यम से जोड़ते हैं, जिसमें GPU-से-GPU बैंडविड्थ बहुत कम होती है। कई GPUs होने का मतलब NVLink होना जरूरी नहीं है, इसलिए GPU संख्या से अनुमान लगाने के बजाय ऊपर दी गई तुलना में इंटरकनेक्ट की पुष्टि करें।