أفضل وحدات معالجة الرسومات السحابية للاستدلال وخدمة النماذج

ما الذي يتطلبه الاستدلال فعليًا من وحدة معالجة الرسومات المستأجرة

الاستدلال هو مرحلة تقديم الخدمة في دورة حياة النموذج: الأوزان قد تم تدريبها بالفعل، وتدفع مقابل الحوسبة في كل مرة يرسل فيها المستخدم موجهًا أو صورة أو طلبًا. هذا يغير الحسابات المتعلقة بالأجهزة تمامًا مقارنة بالتدريب. التدريب يعتمد على الإنتاجية ويستمر لساعات أو أيام على مجموعات كثيفة؛ أما الاستدلال فهو حساس للزمن، متقطع، ويستمر إلى أجل غير مسمى. عندما تستأجر وحدة معالجة رسومات لخدمة نموذج، فأنت تقوم بتحسين التكلفة لكل رمز أو لكل طلب ضمن زمن استجابة مقبول، وليس من أجل FLOPs الخام على مهمة طويلة.

القيود الأهم عادةً هي سعة الذاكرة، وليس الحوسبة. يجب أن يتسع النموذج في ذاكرة الفيديو إلى جانب ذاكرة التخزين المؤقت للمفتاح والقيمة (KV)، والتي تزداد مع حجم الدُفعة وطول السياق. بالنسبة للنماذج اللغوية الكبيرة، هذا هو الضغط الرئيسي: النموذج الذي يُخدم بدقة 16-بت يحتاج تقريبًا إلى بايتين لكل معلمة فقط للأوزان، لذا يمكن لنموذج متوسط الحجم أن يستقر بشكل مريح على بطاقة متوسطة المدى واحدة بينما قد يتطلب نموذج بحجم حدودي عدة وحدات معالجة رسومات مرتبطة معًا. المقارنة أعلاه تتيح لك التصفية حسب VRAM بدقة حتى تتمكن من مطابقة البطاقة مع أكبر نموذج تنوي خدمته بالإضافة إلى هامش للطلبات المتزامنة.

المواصفات التي تؤثر على تكلفة الاستدلال وزمن الاستجابة

• سعة VRAM تحدد ما إذا كان النموذج وذاكرة التخزين المؤقت KV يتسعان على وحدة معالجة رسومات واحدة أو يجب تقسيمهما. التبديل إلى وحدة معالجة رسومات ثانية أو إلى ذاكرة المضيف يضيف زمن استجابة وتعقيدًا.
• عرض نطاق الذاكرة هو عنق الزجاجة الحقيقي لتوليد الرموز. فك التشفير التلقائي التتابعي يقرأ مجموعة الأوزان كاملة لكل رمز يتم إنتاجه، لذا فإن الذاكرة ذات عرض النطاق العالي (فئة HBM) تولد الرموز أسرع من ذاكرة فئة GDDR على نفس مستوى الحوسبة.
• دعم الدقة المنخفضة مهم للغاية. البطاقات التي تدعم مسارات FP8 أو INT8 تسمح لك بتكميم النماذج لخدمة المزيد من الطلبات مقابل كل دولار مع فقدان قليل في الجودة. التكميم إلى 8-بت أو 4-بت يقلل أيضًا من بصمة الذاكرة، مما يسمح غالبًا للنموذج بالتناسب على بطاقة أرخص.
• الاتصال البيني (NVLink مقابل PCIe) يهم فقط عندما يمتد النموذج عبر عدة وحدات معالجة رسومات. لخدمة وحدة معالجة رسومات واحدة فهو غير ذي صلة؛ لخدمة النماذج الكبيرة بالتوازي على مستوى التنسور يؤثر مباشرة على زمن استجابة الرموز.

الاستدلال الدفعي (غير المتصل بالإنترنت) مقابل الاستدلال في الوقت الحقيقي

هناك نمطان مختلفان تمامًا من أنماط الخدمة تحت كلمة “الاستدلال”، وهما يحتاجان إلى تأجير مختلف.

الاستدلال في الوقت الحقيقي يخدم المستخدمين المباشرين: روبوت محادثة، نقطة نهاية API، مولد صور خلف تطبيق ويب. هنا يحكم زمن الاستجابة النهائي، وغالبًا ما تبقى وحدات معالجة الرسومات غير مستغلة جزئيًا في انتظار حركة المرور، ولا يمكنك تحمل سحب المثيل أثناء الطلب. هذا النمط يفضل السعة المتاحة دائمًا عند الطلب وبطاقة ذات عرض نطاق ذاكرة قوي حتى يبقى زمن الاستجابة لكل طلب منخفضًا حتى عند أحجام دفعات صغيرة.

الاستدلال الدفعي أو غير المتصل بالإنترنت يعالج تراكمًا كبيرًا: تقييم مجموعة بيانات، توليد تضمينات لمجموعة نصوص، وصف مليون صورة. لا يوجد مستخدمون مباشرين، لذا لا يهم زمن الاستجابة لكل عنصر ويمكنك تعبئة دفعات كبيرة لإشباع وحدة معالجة الرسومات. هذا النمط هو المرشح المثالي للسعة القابلة للمقاطعة أو السعة الفورية، لأنه إذا تم استرداد المثيل يمكنك ببساطة استئناف الطابور. عند قراءة القائمة أعلاه، قرر أولاً أي من هذين النمطين أنت فيه، لأنه يغير نموذج الفوترة ومستوى التوفر المناسب.

لماذا تتفوق الإنتاجية والاستخدام على ذروة FLOPs

البطاقة التي تبدو أقوى مرتين على الورق نادرًا ما تقلل فاتورة الاستدلال إلى النصف. فك التشفير مرتبط بالذاكرة، لذا غالبًا ما يكون ذروة الحوسبة المعلنة لوحدة معالجة الرسومات غير مستغلة أثناء التوليد. ما تدفع مقابله فعليًا هو عدد الرموز الفعالة في الثانية لكل دولار تحت أحجام الدُفعات الحقيقية وطول السياق. تستعيد أنظمة الخدمة الحديثة الكثير من السعة المهدرة من خلال التجميع المستمر، وذاكرات التخزين المؤقت KV الصفحية، والتكميم. الخلاصة العملية عند الاستئجار: وحدة معالجة رسومات متوسطة المستوى تعمل على خادم محسن يمكن أن تتفوق على بطاقة رائدة تعمل على خادم غير محسن، وغالبًا ما تكون البطاقة الأصغر والأرخص التي لا تزال تناسب نموذجك هي الفائزة من حيث التكلفة لحركة المرور المستقرة.

ميزات المزود التي تهم تحديدًا لخدمة الاستدلال

الاستدلال يعمل باستمرار، لذا فإن ميزات المنصة المحيطة تزن أكثر مما تفعل في مهمة تدريب لمرة واحدة. عند مقارنة الخيارات أعلاه، تحقق من هذه الأبعاد:

• دقة الفوترة: الفوترة بالثانية أو الدقيقة تكافئ الخدمة المتقطعة والقابلة للتوسع إلى الصفر؛ الفوترة بالساعة الخشنة تعاقب نقاط النهاية التي تبقى خاملة بين ذروات الحركة.
• سرعة بدء التشغيل والتجهيز: إذا كنت تزيد وتنقص النسخ حسب الطلب، فإن سرعة جاهزية مثيل GPU جديد تؤثر مباشرة على زمن الاستجابة للمستخدم وقدرتك على التوسع التلقائي.
• التخزين الدائم وتخزين الصور المؤقت: سحب أوزان النموذج الكبيرة عند كل بدء تشغيل بطيء وأحيانًا يكون له تكلفة. الصور المخزنة مؤقتًا أو الأحجام المرفقة التي تحتفظ بالأوزان تقلل بشكل كبير من أوقات بدء التشغيل البارد.
• رسوم الإخراج: الخدمة ترسل النتائج إلى المستخدمين باستمرار. رسوم الإخراج لكل جيجابايت التي تكون غير مرئية أثناء التدريب يمكن أن تصبح بندًا حقيقيًا للواجهات البرمجية عالية الحجم.
• الاعتمادية عند الطلب مقابل تسعير السعة الفورية: نقاط النهاية في الوقت الحقيقي تحتاج عمومًا إلى سعة مضمونة عند الطلب؛ بينما يمكن للمهام الدفعية أن تستخدم مثيلات قابلة للمقاطعة أرخص.
• خيارات التوسع التلقائي والخوادم بدون خادم: التوسع إلى الصفر مهم عندما تكون حركة المرور متقطعة، حتى لا تدفع مقابل وحدة معالجة رسومات خاملة طوال الليل.

كيفية قراءة المقارنة أعلاه للاستدلال

اعمل بهذا الترتيب. أولاً، حدد أكبر نموذج يجب أن تخدمه وتأكد من أن البطاقة تحتوي على VRAM كافية للأوزان بالإضافة إلى ذاكرة التخزين المؤقت KV عند التزامن المتوقع. ثانيًا، فضّل عرض نطاق الذاكرة العالي ودعم الدقة المنخفضة (FP8/INT8) لتعظيم الرموز في الثانية لكل دولار. ثالثًا، طابق نموذج الفوترة والتوفر مع نمطك: عند الطلب مع فوترة دقيقة لنقاط النهاية الحية، وسعة قابلة للمقاطعة للعمل الدفعي غير المتصل بالإنترنت. استخدم الجدول الحي للأسعار الحالية، لأن التسعير بالساعة يتغير مع الطلب والندرة ويختلف حسب المزود؛ القاعدة الدائمة هي أن البطاقة الأرخص التي تناسب نموذجك وحركة المرور بشكل مريح هي الفائزة دائمًا، وليس الأقوى المتاحة.

الأسئلة المتكررة

كم من ذاكرة GPU أحتاج لخدمة نموذج للاستدلال؟

خطط لأوزان النموذج بالإضافة إلى ذاكرة التخزين المؤقت للمفتاح والقيمة. في 16-بت، تحتاج الأوزان إلى حوالي بايتين لكل معلمة، والتكميم إلى 8-بت أو 4-بت يقلل ذلك بشكل كبير. ثم أضف هامشًا لذاكرة التخزين المؤقت KV التي تزداد مع حجم الدُفعة وطول السياق. صفِّ القائمة أعلاه حسب VRAM واختر بطاقة تناسب النموذج مع مساحة إضافية حتى لا يدفعك التزامن إلى نفاد الذاكرة.

هل بطاقة GPU أرخص كافية للاستدلال، أم أحتاج إلى بطاقة رائدة؟

لعديد من أعباء الخدمة، البطاقة متوسطة المدى هي القيمة الأفضل. توليد الرموز مرتبط بعرض نطاق الذاكرة وليس ذروة الحوسبة، لذا غالبًا ما تكون FLOPs الرائدة غير مستغلة. إذا كان نموذجك يتناسب مع VRAM بطاقة أصغر ويحتفظ مكدس الخدمة المحسن بوحدة معالجة الرسومات مشغولة، فعادةً ما تحصل على تكلفة أفضل لكل رمز من استئجار الخيار الأغلى.

هل يجب أن أستخدم مثيلات فورية أو قابلة للمقاطعة للاستدلال؟

يعتمد ذلك على النمط. الاستدلال الدفعي غير المتصل بالإنترنت يتحمل الانقطاعات جيدًا، حيث يمكنك استئناف الطابور، مما يجعل السعة الفورية الأرخص جذابة. نقاط النهاية الحية التي تواجه المستخدم تحتاج عمومًا إلى سعة مضمونة عند الطلب، لأن استرداد المثيل أثناء الطلب يسبب فشلًا ويكسر ضمانات زمن الاستجابة.

ما الذي يجعل فوترة الاستدلال مختلفة عن فوترة التدريب؟

التدريب هو مهمة محدودة ومربوطة بالإنتاجية، بينما الاستدلال يعمل باستمرار وغالبًا ما يكون خاملاً بين ذروات الحركة. هذا يجعل الفوترة بالثانية، والتجهيز السريع، والتوسع إلى الصفر، وتكاليف الإخراج المتوقعة أكثر أهمية للخدمة مما هي عليه في مهمة تدريب لمرة واحدة. قارن هذه ميزات المنصة في المقارنة أعلاه إلى جانب سعر وحدة معالجة الرسومات بالساعة الخام.