مزودو الحوسبة السحابية بوحدات معالجة الرسوميات مع NVLink أو InfiniBand

ما الذي يفعله NVLink وInfiniBand فعليًا عند استئجار حوسبة متعددة وحدات معالجة الرسوميات

يحل NVLink وInfiniBand نفس المشكلة الأساسية من جانبين مختلفين للجهاز: نقل البيانات بين وحدات معالجة الرسوميات بسرعة كافية بحيث تقضي المعجلات وقتها في الحوسبة بدلاً من الانتظار. يقوم الفلتر أعلاه بتضييق القائمة إلى حالات السحابة التي تعرض واحدًا أو كلا هذين الاتصالين. لا يمكن استبدالهما — أحدهما هو نسيج داخل العقدة يربط وحدات معالجة الرسوميات داخل خادم واحد، والآخر هو نسيج بين العقد يربط الخوادم معًا في عنقود. لأي عبء عمل يمتد لأكثر من وحدة معالجة رسوميات واحدة، غالبًا ما يكون الاتصال هو الفرق بين التوسع شبه الخطي وإعداد حيث لا يساعد إضافة وحدات معالجة الرسوميات كثيرًا.

NVLink: المسار السريع بين وحدات معالجة الرسوميات داخل صندوق واحد

NVLink هو رابط مباشر من NVIDIA بين وحدات معالجة الرسوميات. بدلاً من توجيه الحركة عبر ناقل PCIe المضيف والمعالج المركزي، يربط NVLink وحدات معالجة الرسوميات بعضها ببعض (وعلى بعض المنصات عبر مفتاح NVSwitch) بحيث يمكن لكل وحدة معالجة رسوميات في العقدة التحدث إلى كل وحدة معالجة رسوميات أخرى بعرض نطاق ترددي عالٍ وزمن انتقال منخفض. النتيجة العملية عند استئجار حالة مجهزة بـ NVLink:

• عرض نطاق ترددي أعلى بكثير بين وحدات معالجة الرسوميات مقارنة بالعقد التي تعتمد فقط على PCIe، وهو أمر مهم كلما كان من الضروري تبادل التدرجات، التنشيطات، أو أجزاء النموذج في كل خطوة.
• ذاكرة مجمعة عبر وحدات معالجة الرسوميات في الممارسة — يمكن تقسيم نموذج أكبر من ذاكرة VRAM لوحدة معالجة رسوميات واحدة عبر نطاق NVLink مع بقاء حركة المرور بين وحدات معالجة الرسوميات على النسيج السريع بدلاً من الزحف عبر PCIe.
• تقليل عبء المزامنة للعمليات الجماعية مثل all-reduce، التي تهيمن على تدريب البيانات المتوازية.

يعيش NVLink داخل عقدة واحدة، لذا فإن نطاقه عادة ما يكون 2 أو 4 أو 8 وحدات معالجة رسوميات حسب تصميم الخادم. إذا أعلن مزود في القائمة أعلاه عن عقدة 8 وحدات معالجة رسوميات “مع NVLink”، فهذا يعني أن هذه البطاقات الثمانية مرتبطة بشكل وثيق. ولا يشير ذلك، بمفرده، إلى كيفية اتصال تلك العقدة بالعقد الأخرى.

InfiniBand: النسيج الذي يحول العديد من الخوادم إلى عنقود واحد

InfiniBand هي تقنية شبكات تُستخدم لربط خوادم وحدات معالجة الرسوميات المنفصلة. عندما تتجاوز مهام التدريب عقدة واحدة، ينتقل الاختناق من داخل الصندوق إلى بين الصناديق، ويمكن أن تعطل الشبكات الإيثرنت العادية وحدات معالجة الرسوميات. يعالج InfiniBand هذا من خلال معدل نقل عالي جدًا لكل رابط، زمن انتقال منخفض ومتوقع، و RDMA (الوصول المباشر عن بُعد للذاكرة)، الذي يسمح لخادم واحد بقراءة أو كتابة ذاكرة خادم آخر دون إشراك المعالج المركزي على أي من الجانبين. مع GPUDirect RDMA، يمكن للبيانات أن تنتقل من وحدة معالجة رسوميات إلى أخرى عبر العقد مع تجاوز نسخ ذاكرة المضيف إلى حد كبير.

للتدريب متعدد العقد، هذا هو ما يحافظ على كفاءة التوسع. السبب في أن عنقودًا من، لنقل، عشرات أو مئات وحدات معالجة الرسوميات يمكنه تدريب نموذج كبير في وقت معقول هو أن نسيج بين العقد يواكب الاتصالات الجماعية التي يتطلبها الخوارزم. إذا انتقلت إلى شبكات عادية، يمكن أن يقضي نفس العمل جزءًا كبيرًا من وقته الفعلي في الانتظار على الشبكة.

أي أحمال العمل تحتاج هذا فعليًا

يكون التصفية لـ NVLink أو InfiniBand منطقية عندما تكون الاتصالات، وليس فقط الحوسبة الخام، في المسار الحرج:

• تدريب النماذج الكبيرة وضبطها الدقيق التي تقسم المعلمات، حالة المحسن، أو الطبقات عبر وحدات معالجة الرسوميات (توازي البيانات بالتنسور، الأنابيب، أو التوازي الكامل المقسم) — تولد هذه الأساليب حركة مرور مستمرة بين وحدات معالجة الرسوميات وتستفيد أكثر من NVLink داخل العقدة وInfiniBand عبر العقد.
• التدريب الموزع متعدد العقد حيث لا يتسع العمل ببساطة في خادم واحد — هنا InfiniBand هو العامل الحاسم لكفاءة التوسع.
• الحوسبة عالية الأداء والمحاكاة العلمية مع اتصالات بين العمليات محكمة، والتي اعتمدت على InfiniBand وRDMA لسنوات.
• الاستدلال على النماذج الكبيرة أو السياقات الكبيرة التي تقسم نموذجًا واحدًا عبر عدة وحدات معالجة الرسوميات، حيث يقلل NVLink من عقوبة زمن الانتقال للوصول عبر وحدات معالجة الرسوميات للانتباه والأوزان.

إنه مبالغة حقيقية لأعمال وحدة معالجة رسوميات واحدة. ضبط نموذج صغير، تشغيل استدلال دفعات يناسب بطاقة واحدة، معظم أعمال العرض، والتجارب كلها تعمل جيدًا على وحدة معالجة رسوميات مستقلة. دفع علاوة مقابل عقدة متصلة بإحكام أو عنقود InfiniBand لا يجلب فائدة إذا لم يعبر عملك حدود وحدة معالجة الرسوميات.

ما الذي يجب التحقق منه قبل الاستئجار

غالبًا ما يتم الخلط بين الاتصالين في نسخ التسويق، لذا تحقق من التفاصيل مقابل المقارنة أعلاه:

• النطاق — تأكد مما إذا كانت القائمة تعني NVLink (ربط وحدات معالجة الرسوميات داخل العقدة) أو InfiniBand (شبكات بين العقد). يمكن أن تحتوي حالة عقدة واحدة على NVLink ولا تحتوي على InfiniBand على الإطلاق.
• الطوبولوجيا والعرض — كم عدد وحدات معالجة الرسوميات التي تشترك في نطاق NVLink (مفتاح NVSwitch كامل للجميع مقابل الجسور الجزئية)، ومعدل رابط InfiniBand وما إذا كان RDMA/GPUDirect مفعلًا.
• الجيل — تحمل أجيال وحدات معالجة الرسوميات الأحدث NVLink بعرض نطاق ترددي أعلى؛ تسمية “NVLink” وحدها لا تخبرك بالسرعة.
• توفر متعدد العقد — ما إذا كان يمكنك فعليًا حجز عدة عقد مترابطة، وما إذا كانت تقع في نفس النسيج بدلاً من التوزع عبر مركز البيانات.
• دعم البرمجيات — أن ترى NCCL وMPI وإطار عملك النسيج وتستخدمه؛ الإعداد الخاطئ يعود بصمت إلى المسارات البطيئة.

من حيث التكلفة والتوفر، تقع الحالات الغنية بالاتصالات في الطرف الأعلى من الطيف. تستخدم عقد متعددة وحدات معالجة الرسوميات المجهزة بـ NVLink وعناقيد متصلة بـ InfiniBand أجهزة متميزة وتكون مطلوبة باستمرار، لذا فإن السعة عند الطلب أضيق وخيارات النقاط أو القابلة للمقاطعة أقل من وحدات معالجة الرسوميات العادية المفردة. غالبًا ما تكون تخصيصات InfiniBand متعددة العقد محكومة أو محجوزة أو تُباع في كتل أكبر. اعتبر الأسعار في الجدول أعلاه كمرجع مباشر، حيث تتحرك الأسعار وتختلف حسب المزود.

الأسئلة المتكررة

هل أحتاج إلى كل من NVLink وInfiniBand؟

يعتمد ذلك على الحجم. يحتاج عمل متعدد وحدات معالجة الرسوميات في عقدة واحدة فقط إلى NVLink. في اللحظة التي يمتد فيها تدريبك عبر عدة خوادم، ترغب أيضًا في وجود InfiniBand لربط تلك العقد — يعمل الاثنان على طبقات مختلفة، لذا يعتمد عنقود كبير عادة على NVLink داخل كل صندوق وInfiniBand بين الصناديق.

هل سيعمل عبء عمليتي على وحدة معالجة رسوميات واحدة بشكل أسرع على حالة NVLink أو InfiniBand؟

لا. كلا الاتصالين مهمان فقط عندما تتحرك البيانات بين وحدات معالجة الرسوميات أو بين العقد. عبء العمل الذي يناسب وحدة معالجة رسوميات واحدة لا يلمس أيًا من النسيجين، لذا ستدفع علاوة مقابل سعة لا يمكنك استخدامها. قم بالتصفية لهذين فقط عندما تتوسع إلى أكثر من وحدة معالجة رسوميات.

لماذا يهم الاتصال أكثر من مواصفات كل وحدة معالجة رسوميات في مهام التدريب الكبيرة؟

يقضي التدريب الموزع جزءًا كبيرًا من كل خطوة في تبادل التدرجات والتنشيطات. إذا لم يستطع النسيج مواكبة السرعة، تبقى وحدات معالجة الرسوميات خاملة أثناء انتظارها للمزامنة، ويؤدي إضافة المزيد من وحدات معالجة الرسوميات إلى عوائد متناقصة. الاتصال السريع هو ما يحافظ على التوسع شبه الخطي مع إضافة المعجلات.

هل يتوفر NVLink في كل حالة متعددة وحدات معالجة الرسوميات؟

لا. بعض عقد وحدات معالجة الرسوميات المتعددة تربط بطاقاتها فقط عبر PCIe، الذي يمتلك عرض نطاق ترددي أقل بكثير بين وحدات معالجة الرسوميات. وجود عدة وحدات معالجة رسوميات لا يضمن NVLink، لذا تحقق من الاتصال صراحة في المقارنة أعلاه بدلاً من افتراضه من عدد وحدات معالجة الرسوميات.