أفضل وحدات معالجة الرسومات السحابية لخدمة ونشر نماذج اللغة الكبيرة

ما الذي يتطلبه تقديم نموذج اللغة الكبير (LLM) فعليًا من بطاقة GPU مستأجرة

تقديم نموذج لغة كبير هو عبء عمل مختلف جوهريًا عن تدريبه. التدريب يعتمد على معدل الإنتاج ويتحمل التأخير؛ أما التقديم فهو حساس للتأخير، مرتبط بالذاكرة، ومتقطع. عندما تستأجر بطاقة GPU لنشر نموذج LLM خلف واجهة برمجة تطبيقات (API)، فإن عنق الزجاجة نادرًا ما يكون في FLOPS الخام. بل هو مقدار النموذج و ذاكرة KV المؤقتة التي يمكنك الاحتفاظ بها في ذاكرة الفيديو (VRAM)، وسرعة تدفق تلك الذاكرة، وعدد الطلبات المتزامنة التي يمكنك تجميعها قبل أن ينهار معدل الرموز في الثانية لكل مستخدم.

ذاكرة KV المؤقتة هي الجزء الذي يقلل معظم الناس من قيمته. كل طلب نشط يخزن مفاتيح وقيم الانتباه لسياقه، وتتزايد هذه البصمة مع طول التسلسل وعدد المستخدمين المتزامنين. النموذج الذي يناسب الذاكرة بسهولة في حالة الخمول قد ينفد من الذاكرة بمجرد دفع حركة مرور حقيقية مع مطالبات طويلة. لهذا السبب غالبًا ما تحتاج عمليات النشر الخاصة بالتقديم إلى مساحة إضافية في VRAM أكثر مما توحي به أوزان النموذج وحدها.

كيفية تحديد حجم بطاقة GPU بالنسبة للنموذج

السؤال العملي الأول هو ما إذا كان النموذج يناسب بطاقة GPU واحدة أو يجب تقسيمه عبر عدة بطاقات. عند قراءة المقارنة أعلاه بالنسبة لنموذجك، قم بموازنة العوامل التالية:

• سعة VRAM تحدد النماذج التي تناسب. يمكن لنموذج 7B–13B مُكمم بدقة FP8 أو INT8 أن يُقدّم من معالج متوسط المستوى واحد، بينما يحتاج نموذج 70B بدقة BF16 عادة إلى بطاقة ذاكرة عالية أو عقدة متعددة بطاقات GPU. النماذج الكبيرة جدًا من فئة الحدود تتطلب فعليًا عدة بطاقات GPU متقدمة مرتبطة معًا.
• عرض نطاق الذاكرة يحدد سرعة توليد الرموز. فك التشفير التلقائي التتابعي يقرأ مجموعة الأوزان كاملة لكل رمز يتم إنتاجه، لذا فإن ذاكرة من فئة HBM (كما هو موجود في بطاقات مراكز البيانات) تولد الرموز أسرع بكثير من بطاقات المستهلكين المعتمدة على GDDR عند نفس حجم النموذج. بالنسبة للدردشة التفاعلية، غالبًا ما يكون عرض النطاق ذا أهمية أكبر من الحوسبة.
• الدقة المدعومة تحدد مدى إمكانية تقليص النموذج بشكل عدواني. البطاقات التي تدعم FP8 وINT8 تسمح لك بتقديم نماذج أكبر على VRAM أقل وبمعدل إنتاج أعلى، بشرط أن يكون كومة التقديم الخاصة بك ونظام التكميم في النموذج متوافقين.
• الاتصال البيني مهم عندما يمتد النموذج عبر عدة بطاقات GPU. التقديم الموازي بالتنسور يتبادل التنشيطات بين البطاقات في كل طبقة، لذا فإن وصلات من فئة NVLink داخل العقدة توفر زمن استجابة أفضل بشكل ملموس من التكوينات التي تعتمد فقط على PCIe. بالنسبة للنشر على بطاقة GPU واحدة، الاتصال البيني غير ذي صلة.

التقديم على بطاقة GPU واحدة مقابل متعددة

إذا كان نموذجك وذاكرة KV المؤقتة القصوى تناسب بطاقة GPU واحدة، فابقَ عليها. التقديم على بطاقة واحدة يتجنب تمامًا عبء التواصل بين الأجهزة وهو أبسط في التشغيل. انتقل إلى التوازي بالتنسور أو التقديم متعدد العقد فقط عندما لا يمكن للنموذج أن يناسب فعليًا، لأن كل بطاقة GPU تضيف تكلفة تزامن وتعقد التوسع التلقائي. عندما تحتاج إلى عدة بطاقات GPU، فضّل الحالات في القائمة أعلاه التي تجمع بين بطاقات ذاكرة عالية واتصال داخلي سريع داخل العقدة بدلاً من ربط بطاقات مترابطة بشكل فضفاض.

ميزات المزود التي تهم في التقديم وليس في التدريب

بعيدًا عن السيليكون، يحدد نموذج تشغيل المزود ما إذا كان النشر ممكنًا. عند مراجعة المقارنة أعلاه لعبء عمل التقديم بدلاً من تشغيل التدريب، قم بإعطاء الأولوية بشكل مختلف:

• وقت بدء التشغيل البارد والإعداد يصبحان من الاعتبارات الأساسية. نقطة نهاية التقديم التي تتوسع إلى الصفر بين ذروات الحركة تدفع تكلفة بدء التشغيل البارد عند كل توسعة، لذا فإن التوفير السريع وتخزين الصور مؤثران مباشرة على زمن الاستجابة النهائي.
• دقة الفوترة تغير اقتصاديات حركة المرور المتقطعة. الفوترة بالثانية أو بالدقيقة تناسب نقاط النهاية التي تتوسع تلقائيًا وتدير تشغيل وإيقاف الحالات؛ أما الفوترة بالساعة فتعاقب هذا النمط.
• الموثوقية عند الطلب مقابل الفورية (Spot) هي الخيار الصحيح عادة. الحالات القابلة للمقاطعة أو الفورية ممتازة للتدريب والوظائف الدُفعية لكنها محفوفة بالمخاطر لنقطة نهاية تواجه المستخدم، حيث يؤدي الاسترداد أثناء الطلب إلى إسقاط حركة المرور الحية. يمكن للحالات الفورية أن تخدم الاستدلال الدُفعي غير التفاعلي جيدًا.
• التخزين الدائم والتحميل السريع للنموذج يقللان من ألم إعادة التشغيل. الأوزان التي تصل إلى عدة جيجابايت والتي تُعاد تحميلها من تخزين كائنات بارد عند كل إعادة تشغيل تضيف دقائق من التوقف؛ التخزين المؤقت أو الأحجام المرفقة تقصر ذلك.
• الشبكات والتصدير تؤثر على التكلفة عند النطاق الكبير. يمكن للاستدلال عالي الإنتاجية أن ينقل الكثير من البيانات للخارج؛ تحقق من شروط التصدير قبل الالتزام بنشر عالي الحركة.

التقديم الدُفعي مقابل التقديم في الوقت الحقيقي، وأين تقع التكلفة

قرر مبكرًا أي وضع تقوم بتحسينه. التقديم التفاعلي في الوقت الحقيقي يقدر وقت الحصول على أول رمز منخفض ومعدلات رموز ثابتة لكل مستخدم، مما يفضل الذاكرة عالية العرض وحجم دفعات معتدل. الاستدلال الدُفعي أو غير المتصل يقدر إجمالي الإنتاجية ويمكنه تعبئة دفعات كبيرة على أجهزة أرخص أو قابلة للمقاطعة، مضحيًا بزمن استجابة الطلب مقابل تكلفة أفضل لكل رمز. العديد من الفرق تدير كلاهما: طبقة استجابة عند الطلب للمستخدمين الأحياء وطبقة دُفعية مدعومة بالحالات الفورية للتوليد بالجملة.

في تكلفة الإيجار، يقع التقديم عبر الطيف بأكمله. نموذج صغير مكمم على بطاقة متوسطة المستوى رخيص ومتوافر على نطاق واسع؛ النماذج الحدودية على عقد متعددة بطاقات GPU وذاكرة عالية نادرة، أغلى، وأحيانًا محدودة السعة خلال ذروات الطلب. نظرًا لأن الأسعار تتحرك باستمرار وتختلف حسب المنطقة والالتزام، اعتبر المقارنة الحية أعلاه المصدر الحقيقي بدلاً من أي رقم ثابت، وقارن الحالات بناءً على VRAM، فئة عرض النطاق، الاتصال البيني، ونموذج الفوترة معًا بدلاً من السعر الرئيسي فقط.

الأسئلة المتكررة

كم من VRAM أحتاج لتقديم نموذج LLM؟

خصص ميزانية لأوزان النموذج بالدقة التي تختارها بالإضافة إلى مساحة كبيرة لذاكرة KV المؤقتة، التي تنمو مع طول السياق وعدد المستخدمين المتزامنين. كدليل تقريبي، تخدم النماذج الصغيرة والمتوسطة المكممة من بطاقة متوسطة واحدة، بينما تحتاج النماذج الكبيرة ذات الدقة الأعلى إلى بطاقة ذاكرة عالية أو عدة بطاقات GPU. دائمًا قم بتحديد الحجم بناءً على الذروة في التزامن، وليس الخمول.

هل بطاقات GPU الفورية أو القابلة للمقاطعة مناسبة لتقديم LLM؟

لنقاط النهاية التفاعلية التي تواجه المستخدم، عمومًا لا، لأن الاسترداد يمكن أن يسقط الطلبات الحية ويجبر على إعادة تشغيل باردة. الحالات الفورية مناسبة جيدًا للاستدلال غير المتصل أو الدُفعي، حيث تؤخر الانقطاعات الإنتاجية فقط بدلاً من كسر الجلسة التفاعلية. العديد من الفرق تحتفظ بسعة عند الطلب لحركة المرور الحية وتستخدم الفورية للوظائف الدُفعية.

لماذا يكون عرض نطاق الذاكرة أكثر أهمية من الحوسبة في التقديم؟

فك التشفير رمزًا برمز يقرأ أوزان النموذج من الذاكرة لكل رمز يولده، لذا سرعة التوليد مرتبطة بسرعة تدفق الذاكرة في GPU أكثر من FLOPS القصوى. لهذا السبب تنتج بطاقات مراكز البيانات المزودة بذاكرة HBM الرموز أسرع من بطاقات المستهلكين التي تحمل نفس النموذج، ولماذا عرض النطاق هو عمود رئيسي للمقارنة أعلاه.

هل يجب أن أقدم على بطاقة GPU واحدة أم أقسمها عبر عدة بطاقات؟

استخدم بطاقة GPU واحدة كلما كان النموذج وذاكرة KV المؤقتة القصوى تناسبانها، لأن ذلك يتجنب التواصل بين الأجهزة ويبسط التوسع. انتقل إلى التوازي بالتنسور متعدد البطاقات فقط عندما لا يناسب النموذج فعليًا، وعندما تفعل، اختر الحالات التي تجمع بين بطاقات ذاكرة عالية واتصال داخلي سريع داخل العقدة.