مزودو الحوسبة السحابية بوحدات معالجة الرسوميات مع NVLink أو InfiniBand

ما الذي يفعله NVLink وInfiniBand فعليًا عند استئجار حوسبة متعددة وحدات معالجة الرسومات

NVLink وInfiniBand يحلان نفس المشكلة الأساسية من جانبين مختلفين للجهاز: نقل البيانات بين وحدات معالجة الرسومات بسرعة كافية بحيث تقضي المعجلات وقتها في الحساب بدلاً من الانتظار. يقوم الفلتر أعلاه بتضييق القائمة إلى مثيلات السحابة التي تكشف عن واحد أو كلا هذين الاتصالين. لا يمكن استبدالهما — أحدهما هو نسيج داخل العقدة يربط وحدات معالجة الرسومات داخل خادم واحد، والآخر هو نسيج بين العقد يربط الخوادم معًا في مجموعة. لأي عبء عمل يمتد لأكثر من وحدة معالجة رسومات واحدة، غالبًا ما يكون الاتصال هو الفرق بين التوسع شبه الخطي وإعداد حيث إضافة وحدات معالجة الرسومات بالكاد تساعد.

NVLink: المسار السريع بين وحدات معالجة الرسومات داخل صندوق واحد

NVLink هو الرابط المباشر من وحدة معالجة الرسومات إلى أخرى من NVIDIA. بدلاً من توجيه الحركة عبر ناقل PCIe للمضيف والمعالج المركزي، يربط NVLink وحدات معالجة الرسومات ببعضها البعض (وعلى بعض المنصات من خلال مفتاح تقاطع NVSwitch) بحيث يمكن لكل وحدة معالجة رسومات في العقدة التحدث إلى كل وحدة معالجة رسومات أخرى بعرض نطاق ترددي عالٍ وزمن انتقال منخفض. النتيجة العملية عند استئجار مثيل مزود بـ NVLink:

• عرض نطاق ترددي أعلى بكثير بين وحدات معالجة الرسومات مقارنة بالعقد التي تعتمد فقط على PCIe، وهو أمر مهم كلما كان من الضروري تبادل التدرجات أو التنشيطات أو أجزاء النموذج في كل خطوة.
• ذاكرة مجمعة عبر وحدات معالجة الرسومات عمليًا — يمكن تقسيم نموذج أكبر من ذاكرة VRAM لوحدة معالجة رسومات واحدة عبر نطاق NVLink مع بقاء حركة المرور عبر وحدات معالجة الرسومات على النسيج السريع بدلاً من الزحف عبر PCIe.
• تقليل عبء المزامنة للعمليات الجماعية مثل all-reduce، التي تهيمن على تدريب البيانات المتوازية.

يعيش NVLink داخل عقدة واحدة، لذا فإن نطاقه عادة ما يكون 2 أو 4 أو 8 وحدات معالجة رسومات حسب تصميم الخادم. إذا أعلن مزود في القائمة أعلاه عن عقدة بـ 8 وحدات معالجة رسومات “مع NVLink”، فهذا يعني أن تلك البطاقات الثمانية مرتبطة بإحكام. ولا يعني ذلك، بحد ذاته، كيف ترتبط تلك العقدة بالعقد الأخرى.

InfiniBand: النسيج الذي يحول العديد من الخوادم إلى مجموعة واحدة

InfiniBand هي تقنية شبكات تُستخدم لربط خوادم وحدات معالجة الرسومات المنفصلة. عندما تتجاوز مهام التدريب عقدة واحدة، ينتقل عنق الزجاجة من داخل الصندوق إلى بين الصناديق، ويمكن أن يتسبب الشبكات الإيثرنت العادية في توقف وحدات معالجة الرسومات. يعالج InfiniBand هذا بمعدل نقل عالي جدًا لكل رابط، وزمن انتقال منخفض ومتوقع، و RDMA (الوصول المباشر عن بُعد إلى الذاكرة)، الذي يسمح لخادم واحد بقراءة أو كتابة ذاكرة خادم آخر دون إشراك المعالج المركزي على أي من الجانبين. مقترنًا بـ GPUDirect RDMA، يمكن للبيانات أن تنتقل من وحدة معالجة الرسومات إلى أخرى عبر العقد مع تجاوز نسخ الذاكرة المضيفة إلى حد كبير.

للتدريب متعدد العقد، هذا هو ما يحافظ على كفاءة التوسع. السبب في أن مجموعة من، لنقل، عشرات أو مئات وحدات معالجة الرسومات يمكنها تدريب نموذج كبير في وقت معقول هو أن نسيج بين العقد يواكب الاتصالات الجماعية التي يتطلبها الخوارزم. إذا انتقلت إلى شبكات عادية، يمكن أن يقضي نفس العمل جزءًا كبيرًا من وقت الساعة الحقيقية في الانتظار على الشبكة.

أي أحمال العمل تحتاج هذا فعليًا

يكون التصفية لـ NVLink أو InfiniBand منطقية عندما تكون الاتصالات، وليس فقط الحوسبة الخام، على المسار الحرج:

• تدريب النماذج الكبيرة وضبطها الدقيق التي تقسم المعلمات، حالة المحسن، أو الطبقات عبر وحدات معالجة الرسومات (التوازي التنسوري، خط الأنابيب، أو التوازي الكامل المقسم للبيانات) — تولد هذه الخطط حركة مرور مستمرة عبر وحدات معالجة الرسومات وتستفيد أكثر من NVLink داخل العقدة وInfiniBand عبر العقد.
• التدريب الموزع متعدد العقد حيث لا يتسع العمل ببساطة في خادم واحد — هنا يكون InfiniBand العامل الحاسم لكفاءة التوسع.
• الحوسبة عالية الأداء والمحاكاة العلمية مع اتصالات بين العمليات محكمة، والتي اعتمدت على InfiniBand وRDMA لسنوات.
• الاستدلال على السياق الكبير أو النموذج الكبير الذي يقسم نموذجًا واحدًا عبر عدة وحدات معالجة رسومات، حيث يقلل NVLink من عقوبة زمن الانتقال للوصول إلى الانتباه والوزن عبر وحدات معالجة الرسومات.

إنه مبالغة حقيقية لأعمال وحدة معالجة رسومات واحدة. ضبط نموذج صغير، تشغيل استدلال دفعي يناسب بطاقة واحدة، معظم مهام العرض، والتجارب كلها تعمل جيدًا على وحدة معالجة رسومات مستقلة. دفع علاوة مقابل عقدة مترابطة بإحكام أو مجموعة InfiniBand لا يجلب فائدة إذا لم يعبر عملك حدود وحدة معالجة الرسومات.

ما الذي يجب التحقق منه قبل الاستئجار

غالبًا ما يتم الخلط بين الاتصالين في نسخ التسويق، لذا تحقق من التفاصيل مقابل المقارنة أعلاه:

• النطاق — تأكد مما إذا كانت القائمة تعني NVLink (ربط وحدات معالجة الرسومات داخل العقدة) أو InfiniBand (الشبكات بين العقد). يمكن أن يحتوي المثيل ذو العقدة الواحدة على NVLink ولا يحتوي على InfiniBand على الإطلاق.
• التوبولوجيا والعرض — كم عدد وحدات معالجة الرسومات التي تشترك في نطاق NVLink (NVSwitch كامل من الكل إلى الكل مقابل الجسور الجزئية)، ومعدل رابط InfiniBand وما إذا كان RDMA/GPUDirect مفعلًا.
• الجيل — تحمل أجيال وحدات معالجة الرسومات الأحدث NVLink بعرض نطاق ترددي أعلى؛ تسمية “NVLink” وحدها لا تخبرك بالسرعة.
• توفر متعدد العقد — ما إذا كان بإمكانك بالفعل حجز عدة عقد مترابطة، وما إذا كانت تقع في نفس النسيج بدلاً من التبعثر عبر مركز البيانات.
• دعم البرمجيات — أن ترى NCCL وMPI وإطار عملك النسيج وتستخدمه؛ الإعداد الخاطئ يعود بصمت إلى المسارات البطيئة.

من حيث التكلفة والتوفر، تقع المثيلات الغنية بالاتصالات نحو الطرف الأعلى من الطيف. تستخدم العقد متعددة وحدات معالجة الرسومات المزودة بـ NVLink والمجموعات المتصلة بـ InfiniBand أجهزة متميزة وتكون مطلوبة باستمرار، لذا فإن السعة عند الطلب أكثر ضيقًا وخيارات البقعة أو القابلة للمقاطعة أقل من وحدات معالجة الرسومات الفردية العادية. غالبًا ما تكون تخصيصات InfiniBand متعددة العقد محكومة أو محجوزة أو مباعة في كتل أكبر. اعتبر الأسعار في الجدول أعلاه كمرجع مباشر، حيث تتحرك الأسعار وتختلف حسب المزود.

الأسئلة المتكررة

هل أحتاج إلى كل من NVLink وInfiniBand؟

يعتمد ذلك على النطاق. يحتاج عمل متعدد وحدات معالجة الرسومات في عقدة واحدة فقط إلى NVLink. في اللحظة التي يمتد فيها تدريبك عبر عدة خوادم، تريد أيضًا InfiniBand لربط تلك العقد — يعمل الاثنان على طبقات مختلفة، لذا تعتمد مجموعة كبيرة عادةً على NVLink داخل كل صندوق وInfiniBand بين الصناديق.

هل سيعمل عبء العمل الخاص بي على وحدة معالجة رسومات واحدة بشكل أسرع على مثيل NVLink أو InfiniBand؟

لا. كلا الاتصالين مهمان فقط عندما تتحرك البيانات بين وحدات معالجة الرسومات أو بين العقد. عبء العمل الذي يناسب وحدة معالجة رسومات واحدة لا يلمس أيًا من النسيجين، لذا ستدفع علاوة مقابل سعة لا يمكنك استخدامها. قم بالتصفية لهذين فقط عندما تتوسع إلى أكثر من وحدة معالجة رسومات.

لماذا يهم الاتصال أكثر من مواصفات كل وحدة معالجة رسومات للمهام التدريبية الكبيرة؟

يقضي التدريب الموزع جزءًا كبيرًا من كل خطوة في تبادل التدرجات والتنشيطات. إذا لم يستطع النسيج مواكبة السرعة، تبقى وحدات معالجة الرسومات خاملة أثناء انتظارها للمزامنة، ويؤدي إضافة المزيد من وحدات معالجة الرسومات إلى عوائد متناقصة. الاتصال السريع هو ما يحافظ على التوسع شبه الخطي مع إضافة المعجلات.

هل NVLink متوفر في كل مثيل متعدد وحدات معالجة الرسومات؟

لا. بعض عقد متعددة وحدات معالجة الرسومات تربط بطاقاتها فقط عبر PCIe، الذي له عرض نطاق ترددي أقل بكثير بين وحدات معالجة الرسومات. وجود عدة وحدات معالجة الرسومات لا يضمن NVLink، لذا تحقق من الاتصال صراحة في المقارنة أعلاه بدلاً من افتراضه من عدد وحدات معالجة الرسومات.