أفضل وحدات معالجة الرسومات السحابية لتدريب نماذج الذكاء الاصطناعي

ما يتطلبه تدريب نموذج الذكاء الاصطناعي فعليًا من وحدة معالجة الرسومات المستأجرة

التدريب هو المرحلة الأكثر استهلاكًا للموارد في دورة حياة تعلم الآلة. على عكس الاستدلال، الذي يشغّل نموذجًا مكتملًا مرة واحدة لكل طلب، يقوم التدريب بدفع دفعات من البيانات ذهابًا وإيابًا عبر الشبكة بشكل متكرر، مع حساب التدرجات وتحديث ملايين أو مليارات المعلمات عبر العديد من العصور. هذا النمط التكراري والطويل والثقيل على الذاكرة هو ما يميز استئجار تدريب جيد عن استئجار رخيص فقط. المقارنة أعلاه مُرشحة للحالات المناسبة لهذا العمل، لكن معرفة لماذا تتأهل هذه الحالات يساعدك على قراءتها بشكل صحيح.

عند التدريب، يجب على وحدة معالجة الرسومات أن تحتفظ بأكثر بكثير من أوزان النموذج فقط. فهي تخزن في الوقت نفسه التنشيطات للتمرير العكسي، والتدرجات، وحالة المحسّن. مع المحسّنات الشائعة مثل آدم، يمكن لحالة المحسّن وحدها أن تضاعف تقريبًا حجم الذاكرة المستخدمة للأوزان، لأنها تتعقب مصطلحات الزخم والتباين بالإضافة إلى المعلمات. هذا هو السبب الأكبر الوحيد الذي يجعل بطاقة يمكنها تشغيل الاستدلال لنموذج معين بسهولة تنفد ذاكرتها بمجرد محاولة ضبطها الدقيق أو تدريبها المسبق.

المواصفات التي تهم أكثر في التدريب

• سعة ذاكرة الفيديو (VRAM) هي الحاجز الصعب. فهي تحدد أكبر نموذج وحجم دفعة يمكنك استيعابه قبل أن تضطر إلى استخدام نقاط التحقق من التدرج، أو التفريغ، أو التجزئة عبر عدة وحدات معالجة رسومات. تسريع مراكز البيانات المزودة بذاكرة عالية النطاق الترددي (HBM) يحمل ذاكرة فيديو أكبر بكثير من بطاقات المستهلكين، ولهذا السبب يتجه التدريب الجاد نحوها.
• عرض نطاق الذاكرة يحافظ على تغذية وحدات الحوسبة. التدريب غالبًا ما يكون مقيدًا بالذاكرة، لذا فإن عرض النطاق الترددي من فئة HBM غالبًا ما يكون أكثر أهمية للفعالية الحقيقية من ذروة FLOPS الخام. البطاقة التي تعاني من نقص عرض النطاق الترددي تترك أنويتها التنسورية خاملة.
• دعم الدقة المنخفضة يدفع السرعة مباشرة. تسريع الأنوية التنسورية FP16 وBF16، والهندسات الأحدث تضيف FP8. يُقدّر BF16 بشكل خاص في التدريب لأن نطاق الأس الأوسع لديه يقاوم التجاوز والنقص الذي يعاني منه FP16، مما يجعل تشغيل الدقة المختلطة أكثر استقرارًا.
• الاتصال البيني يحدد مدى توسعك خارج وحدة معالجة رسومات واحدة. NVLink بين البطاقات في العقدة، والنسيج عالي السرعة مثل InfiniBand بين العقد، يقرران ما إذا كان تزامن التدرجات يصبح عنق زجاجة. إعدادات متعددة وحدات معالجة رسومات تعتمد فقط على PCIe يمكن أن تتوقف عند الاتصال أثناء التدريب الموزع.

التدريب على وحدة معالجة رسومات واحدة، متعددة وحدات معالجة رسومات، ومتعدد العقد

ليس كل مهمة تدريب تحتاج إلى عنقود. طابق حجم الاستئجار مع حجم العمل:

• وحدة معالجة رسومات واحدة تكفي للنماذج الأصغر، وضبط الدقة الفعال للمعلمات (مثل محولات نمط LoRA)، ومعظم التجارب. هنا تريد أكبر ذاكرة فيديو يمكنك تبريرها لتتجنب حلول الدُفعات الصغيرة.
• متعددة وحدات معالجة رسومات في عقدة واحدة تناسب الضبط الكامل للنماذج والنماذج متوسطة الحجم. التوازي البياني يكرر النموذج ويقسم الدفعة؛ هنا يكسب NVLink مكانته بتسريع خطوة الجمع الكلي التي تحسب متوسط التدرجات عبر البطاقات.
• عناقيد متعددة العقد مطلوبة للتدريب المسبق الكبير، حيث يتم تجزئة النموذج نفسه باستخدام التوازي التنسوري، أو خط الأنابيب، أو التوازي البياني المجزأ بالكامل. على هذا النطاق، يصبح عرض نطاق الشبكة بين العقد والطوبولوجيا مهمين مثل وحدات معالجة الرسومات، ويمكن أن تمحو شبكة بطيئة فائدة إضافة المزيد من الأجهزة.

ميزات المزود التي تصنع أو تكسر عملية التدريب

الأجهزة هي نصف القرار فقط. تكشف مهام التدريب الطويلة تفاصيل تشغيلية لا تمسها مهام الاستدلال القصيرة:

• معدل نقل التخزين مهم لأن خط أنابيب البيانات يجب أن يغذي وحدة معالجة الرسومات دون توقف. تحتاج مجموعات البيانات الكبيرة إلى تخزين سريع ودائم قريب من الحوسبة؛ القرص البطيء أو الحاوية البعيدة يمكن أن يحد من أداء وحدة معالجة الرسومات القادرة.
• الحالات الفورية مقابل حسب الطلب هي موازنة حقيقية للتدريب. تقلل الحالات القابلة للمقاطعة التكلفة بشكل كبير، لكن إيقاف التشغيل في منتصف المهمة يضيع التقدم ما لم تقم بعمل نقاط تحقق متكررة وتستطيع الاستئناف بسلاسة. السعة حسب الطلب أو المحجوزة تشتري الاعتمادية للمهام التي لا يمكنك تحمل خسارتها.
• دعم نقاط التحقق والأحجام الدائمة يسمح لك بالبقاء على قيد الحياة عند الانقطاعات، التوقف لفحص النتائج، وإعادة التشغيل دون إعادة رفع كل شيء. هذا ضروري للمهام التي تستمر لأيام.
• دقة الفوترة تؤثر على التكلفة الإجمالية. الفوترة بالثانية أو بالدقيقة تكافئ التجارب القصيرة والمتكررة، بينما التقريب الساعي الخشن يعاقب دورات البدء والإيقاف المتكررة أثناء التطوير.
• توفر متعددة وحدات معالجة الرسومات ومتعددة العقد يجب التأكد منه مسبقًا. تأمين ثماني بطاقات في عقدة واحدة، أو عدة عقد مترابطة، أصعب من استئجار وحدة معالجة رسومات واحدة، وتختلف الندرة.

كيفية قراءة المقارنة أعلاه لحمل تدريب

ابدأ من حجم نموذجك ومجموعة البيانات، ثم توسع. قدّر الذاكرة التي تحتاجها للأوزان بالإضافة إلى التدرجات وحالة المحسّن، وصفي الحالات التي تتجاوز ذاكرة الفيديو فيها هذا الحد مع هامش. بعد ذلك، قرر ما إذا كانت وحدة معالجة رسومات واحدة تكفي أو تحتاج إلى متعددة وحدات معالجة رسومات متصلة بـ NVLink أو عنقود شبكي، وتحقق من أن المرشحين يقدمون تلك الطوبولوجيا. فقط بعد ذلك قارن السعر ونموذج الفوترة. غالبًا ما تنهي الحالة الأغلى قليلًا ذات ذاكرة الفيديو الأكبر والاتصال الأسرع المهمة أسرع وتكلف أقل إجمالًا من بطاقة أرخص تجبرك على حلول بطيئة. وبما أن أسعار الإيجار تتغير باستمرار وتختلف بين المزودين، اعتبر الأرقام الحية في الجدول أعلاه المصدر الحقيقي بدلًا من أي رقم مذكور في النص.

الأسئلة المتكررة

كم من ذاكرة وحدة معالجة الرسومات أحتاج لتدريب نموذج؟

خصص ميزانية أكثر بكثير من عدد معلمات النموذج. بالإضافة إلى الأوزان، يجب تخزين التنشيطات للتمرير العكسي، والتدرجات، وحالة المحسّن، والتي مع المحسّنات على نمط آدم يمكن أن تضاعف تقريبًا حجم الأوزان. تقلل الدقة المختلطة وتقنيات مثل نقاط التحقق من التدرج أو التفريغ من المتطلبات، لكن النهج الآمن هو اختيار ذاكرة فيديو مع هامش بدلاً من الملاءمة الدقيقة.

هل حالات الفورية أو القابلة للمقاطعة آمنة لمهام التدريب؟

يمكن أن تكون كذلك، بشرط أن تقوم بعمل نقاط تحقق متكررة وأن يستأنف كودك بسلاسة من آخر حالة محفوظة. تقلل السعة الفورية التكلفة بشكل ملحوظ، لكنها قد تُستعاد في أي وقت، لذا فهي تناسب المهام التجريبية أو المقاومة للأخطاء أكثر من مهمة طويلة لا يمكن استبدالها. للتدريب الذي لا يمكنك تحمل إعادة تشغيله، السعة حسب الطلب أو المحجوزة هي الخيار الأكثر أمانًا.

هل أحتاج إلى عدة وحدات معالجة رسومات للتدريب، أم أن واحدة تكفي؟

يعتمد ذلك على حجم النموذج ومجموعة البيانات. النماذج الأصغر، وضبط الدقة، والأساليب الفعالة للمعلمات غالبًا ما تعمل جيدًا على وحدة معالجة رسومات واحدة ذات ذاكرة فيديو عالية. تستفيد عمليات الضبط الكامل والنماذج الأكبر من عقد متعددة وحدات معالجة رسومات مع اتصال سريع، وفقط مهام التدريب المسبق الأكبر تحتاج فعليًا إلى عناقيد متعددة العقد مع شبكات عالية السرعة بين الأجهزة.

لماذا يهم الاتصال البيني كثيرًا في التدريب؟

يقوم التدريب الموزع بمزامنة التدرجات باستمرار عبر وحدات معالجة الرسومات. إذا كان الرابط بين البطاقات أو العقد بطيئًا، فإن هذا الاتصال يوقف كل خطوة وتجلس وحدات معالجة الرسومات خاملة في انتظار بعضها البعض. يحافظ الاتصال السريع مثل NVLink داخل العقدة وInfiniBand بين العقد على عدم تحول المزامنة إلى عنق زجاجة، لذا فإن إضافة الأجهزة فعليًا يسرع المهمة بدلاً من إضافة عبء فقط.