أفضل وحدات معالجة الرسوميات السحابية لضبط نماذج اللغة الكبيرة

ما الذي يتطلبه التخصيص الدقيق فعليًا من وحدة معالجة الرسومات المستأجرة

التخصيص الدقيق يأخذ نموذجًا مدربًا مسبقًا ويستمر في تدريبه على مجموعة بيانات أضيق بحيث يتكيف مع مجالك أو نبرتك أو مهمتك. مقارنة بتدريب نموذج من الصفر، تكون تكلفة الحوسبة أقل بكثير، لكن متطلبات الذاكرة وسير العمل لا تزال محددة جدًا. أكبر قيد هو ذاكرة الفيديو (VRAM)، لأنه أثناء التخصيص الدقيق يجب على وحدة معالجة الرسومات الاحتفاظ بأوزان النموذج، والتدرجات، وحالة المحسن، وذاكرة التنشيط للدفعة كلها في وقت واحد. هذا البصمة المجمعة، وليس الأداء الخام بالتيرافلوب، هو عادة ما يحدد ما إذا كانت المهمة تناسب البطاقة التي تستأجرها من المقارنة أعلاه.

مدى ثقل هذه البصمة يعتمد كليًا على طريقة التخصيص الدقيق التي تختارها:

• التخصيص الدقيق الكامل يقوم بتحديث كل وزن وهو الخيار الأكثر استهلاكًا للذاكرة. قاعدة تقريبية هي أنك تحتاج إلى عدة أضعاف عدد معلمات النموذج بالبايت من ذاكرة الفيديو بمجرد احتساب حالة المحسن، ولهذا السبب عادةً ما يتم دفع التخصيص الدقيق الكامل لنماذج اللغة الكبيرة إلى عقد متعددة وحدات معالجة الرسومات.
• LoRA و QLoRA تقوم بتجميد الأوزان الأساسية وتدريب محولات منخفضة الرتبة صغيرة، مما يقلل بشكل كبير من الذاكرة المطلوبة للتدرجات وحالة المحسن. كما يقوم QLoRA بتحميل النموذج الأساسي المجمد في شكل كمي 4-بت، لذا يمكن غالبًا تخصيص النماذج التي كانت ستحتاج إلى عقدة متعددة وحدات معالجة الرسومات على بطاقة واحدة ذات ذاكرة فيديو عالية.
• الطرق الفعالة من حيث المعلمات عمومًا (المحولات، ضبط البادئة) تتنازل عن سقف دقة صغير مقابل متطلبات أجهزة أقل بكثير، وهي السبب في أن الكثير من عمليات التخصيص الدقيق العملية تتم على وحدات معالجة رسومات مستأجرة من الفئة المتوسطة بدلاً من المسرعات الرائدة.

مطابقة البطاقة مع المهمة

نظرًا لأن جدار الذاكرة هو المسيطر، فإن الطريقة الأكثر فائدة لقراءة المقارنة أعلاه هي البدء من أكبر نموذج تنوي تخصيصه والطريقة التي ستستخدمها، ثم العمل عكسيًا إلى ذاكرة الفيديو.

• وحدة معالجة رسومات واحدة ذات ذاكرة فيديو عالية (بطاقات مراكز البيانات التي تحمل مجموعات HBM كبيرة): مثالية لـ LoRA و QLoRA على نماذج اللغة متوسطة الحجم، ونماذج الرؤية، ومعظم تخصيص الانتشار. هذه هي النقطة المثلى للعمل القائم على المحولات مع مراعاة التكلفة.
• عقد متعددة وحدات معالجة الرسومات مع NVLink أو اتصال سريع مكافئ: ضرورية للتخصيص الدقيق الكامل للنماذج الأكبر، حيث يتم تقسيم الأوزان وحالة المحسن عبر البطاقات باستخدام تقنيات مثل ZeRO/FSDP. هنا عرض النطاق الترددي بين وحدات معالجة الرسومات مهم بقدر ذاكرة الفيديو لكل بطاقة، لأن التدريب المقسم يتبادل التدرجات باستمرار؛ العقدة ذات النسيج السريع ستبقي وحدات معالجة الرسومات مشغلة حيث قد تكون روابط PCIe فقط عنق زجاجة.
• بطاقات من فئة المستهلك مع ذاكرة GDDR: صالحة لتجارب النماذج الصغيرة و QLoRA بميزانية محدودة، لكن حدود ذاكرة الفيديو المنخفضة لديهم وغالبًا غياب الاتصال السريع متعدد وحدات معالجة الرسومات يجعلها غير مناسبة بمجرد أن تتوقف مهمة واحدة عن التناسب على بطاقة واحدة.

دعم الدقة هو تفصيل الأجهزة الآخر الذي يستحق التحقق. التخصيص الدقيق الحديث يعتمد على BF16 و FP16 الدقة المختلطة، وتعتمد الطرق الكمية على نوى INT8/4-بت. البطاقات التي تدعم نوى التنسور لهذه الصيغ بشكل ناضج ستقوم بالتخصيص الدقيق بشكل أسرع بكثير وتسمح لك بتناسب دفعات أكبر من الأجهزة القديمة التي تعود إلى مسارات أقل كفاءة.

ميزات المزود التي تصنع أو تكسر عملية التخصيص الدقيق

التخصيص الدقيق هو عملية تكرارية: تجرب تكوينًا، تراقب منحنى الخسارة، تعدل المعلمات الفائقة، وتعيد التشغيل. هذا الإيقاع يجعل بعض ميزات المزود أكثر أهمية مما ستكون عليه في الاستدلال لمرة واحدة.

• التخزين الدائم وتحميل البيانات السريع: تحتاج مجموعة بياناتك، وذاكرة التخزين المؤقت للمحول، ونقاط التفتيش إلى البقاء بين الجلسات. المزود الذي يجبرك على إعادة تحميل مجموعة كبيرة في كل مرة يهدر المال الحقيقي. تحقق مما إذا كان التخزين يستمر عند إيقاف المثيل وكيف يتم تحصيل رسوم خروج البيانات.
• التفتيش وقابلية الانقطاع: عمليات التخصيص الدقيق التي تمتد لساعات تستفيد من كتابة نقاط تفتيش متكررة، مما يجعل المثيلات الفورية أو القابلة للانقطاع أرخص قابلة للاستخدام. إذا كان كودك يستأنف بشكل نظيف من آخر نقطة تفتيش، فإن الانقطاع يكلف دقائق فقط، وليس العملية بأكملها.
• دقة الفوترة: الفوترة بالثواني أو بالدقائق تكافئ طبيعة التوقف والبدء في التجارب، حيث تكون في وضع الخمول أثناء فحص النتائج. الفوترة الساعية الخشنة تعاقب نفس سير العمل.
• التحكم في البيئة: الوصول عبر SSH، وصور Docker، ودفاتر Jupyter تتيح لك تثبيت إصدارات الإطار وCUDA الدقيقة، وهو أمر مهم لأن مكتبات التكميم وPEFT حساسة للإصدار.
• الشبكات متعددة العقد: إذا كنت تتوقع التخصيص الدقيق الكامل للنماذج الكبيرة، فتأكد من أن المزود يقدم عقدًا مع اتصال داخلي بين العقد وعبر العقد سريع حقًا، وليس فقط عدد وحدات معالجة الرسومات في صندوق واحد.

قراءة المقارنة أعلاه من حيث التكلفة

عادةً ما تكون مهام التخصيص الدقيق قصيرة ومتقطعة بدلاً من أن تكون مستمرة دائمًا، لذا تختلف استراتيجية الإيجار عن خدمة الاستدلال. التسعير عند الطلب يشتري لك جلسة مضمونة وغير منقطعة لتشغيل حرج؛ يمكن للسعة الفورية والقابلة للانقطاع تقليل التكلفة الفعلية بشكل كبير للتجارب الصديقة لنقاط التفتيش حيث يكون إعادة التشغيل رخيصًا. تقع المسرعات الرائدة في أعلى طيف التكلفة وتميل إلى أن تكون أقل توفرًا، لذا بالنسبة للتخصيص الدقيق القائم على المحولات غالبًا ما تقدم بطاقة ذاكرة فيديو عالية أقدم قليلاً من القائمة أعلاه نسبة تكلفة إلى نتيجة أفضل. استخدم الجدول للأسعار والتوافر الحي المحدد للمزود؛ الأسعار تتحرك بشكل متكرر وتختلف حسب المنطقة ونوع المثيل، لذا اعتبر أي رقم هناك المصدر الحالي للحقيقة بدلاً من الاعتماد على رقم مذكور في النص.

الأسئلة المتكررة

كم من ذاكرة وحدة معالجة الرسومات أحتاج لتخصيص نموذج لغة كبير؟

يعتمد ذلك على حجم النموذج والطريقة. يمكن لـ QLoRA استيعاب نماذج كبيرة بشكل مدهش على بطاقة واحدة ذات ذاكرة فيديو عالية لأن الأساس المجمد يتم تكميمه إلى 4-بت، بينما قد يتطلب التخصيص الدقيق الكامل لنفس النموذج ذاكرة مجمعة تعادل عدة وحدات معالجة رسومات للأوزان والتدرجات وحالة المحسن. ابدأ من أكبر نموذج مستهدف وطريقتك المختارة، ثم اختر بطاقة أو عقدة من المقارنة أعلاه مع مساحة كافية للتنشيطات وحجم الدفعة.

هل تكفي وحدة معالجة رسومات واحدة، أم أحتاج إلى عقدة متعددة وحدات معالجة الرسومات؟

بالنسبة لـ LoRA و QLoRA على النماذج الصغيرة إلى المتوسطة، عادةً ما تكون وحدة معالجة رسومات واحدة ذات ذاكرة فيديو عالية كافية. التخصيص الدقيق الكامل للنماذج الأكبر، أو التدريب بأحجام دفعات كبيرة، يحتاج عمومًا إلى عقدة متعددة وحدات معالجة الرسومات مع اتصال سريع حتى يمكن تبادل الأوزان والتدرجات المقسمة دون عنق زجاجة.

هل يمكنني استخدام مثيلات فورية أو قابلة للانقطاع الأرخص للتخصيص الدقيق؟

نعم، بشرط أن يقوم حلقة التدريب الخاصة بك بكتابة نقاط تفتيش بشكل متكرر ويستأنف بشكل نظيف. لأن عمليات التخصيص الدقيق يمكن إعادة تشغيلها من آخر نقطة تفتيش، فإن الانقطاع يكلف فقط العمل منذ تلك النقطة، مما يجعل السعة الفورية وسيلة فعالة لتقليل التكلفة للتجارب التي لا تملك موعدًا نهائيًا صارمًا.

هل يحتاج التخصيص الدقيق إلى نفس الأجهزة مثل التدريب الكامل؟

لا. التخصيص الدقيق، خاصة الطرق الفعالة من حيث المعلمات، يتطلب ذاكرة وحوسبة أقل بكثير من تدريب نموذج من الصفر، لذا يمكنك غالبًا استئجار بطاقة أصغر أو أقدم مما يتطلبه التدريب من الصفر. المسرعات الرائدة عادة ما تكون مبالغة في التخصيص الدقيق القائم على المحولات ومن الأفضل حجزها للتدريب المسبق واسع النطاق.