أفضل وحدات معالجة الرسومات السحابية للذكاء الاصطناعي التوليدي

ما الذي تطلبه الذكاء الاصطناعي التوليدي فعليًا من وحدة معالجة الرسوميات المستأجرة

الذكاء الاصطناعي التوليدي هو مجال واسع. يشمل نماذج اللغة الكبيرة التوليدية الذاتية التكرار، ومولدات الصور والفيديو القائمة على الانتشار، ونماذج تحويل النص إلى صوت وموسيقى، وأنظمة متعددة الوسائط التي تتعامل مع عدة من هذه الأنواع في آن واحد. الخيط المشترك هو أن النماذج كبيرة مقارنة بالبيانات التي تغذيها، والاختناق يكون غالبًا في ذاكرة وحدة معالجة الرسوميات بدلاً من القدرة الحاسوبية الخام. قبل قراءة المقارنة أعلاه، من المفيد معرفة الأبعاد التي تؤثر على هذا الحمل العملي.

• سعة ذاكرة الفيديو (VRAM) تحدد ما يمكنك تحميله على الإطلاق. يجب أن تتسع أوزان النموذج في الذاكرة إلى جانب التنشيطات، وأثناء التدريب، حالة المحسن والتدرجات. يمكن إجراء الاستدلال على نموذج مكمم يحتوي على 7 إلى 13 مليار معلمة بشكل مريح على بطاقة واحدة بسعة 24 جيجابايت، بينما يتطلب تقديم نموذج بحجم 70 مليار معلمة بدقة أعلى التوجه نحو معجلات من فئة 80 جيجابايت أو استخدام عدة وحدات معالجة رسوميات.
• عرض نطاق الذاكرة يحدد معدل معالجة الرموز. الاستدلال التوليدي مرتبط بالذاكرة: كل رمز يتم توليده يتطلب تدفق أوزان النموذج عبر وحدات الحوسبة، لذا فإن عرض النطاق من فئة HBM (كما هو موجود في معجلات مراكز البيانات) ينتج معدل رموز في الثانية أعلى بكثير من بطاقات المستهلكين القائمة على GDDR بنفس سعة VRAM.
• دعم الدقة المنخفضة مهم أكثر هنا مقارنة بالعديد من الأحمال الأخرى. النوى التنسورية التي تسرع FP16 وBF16 وخاصة FP8 أو INT8 تتيح لك تشغيل نماذج أكبر بذاكرة أقل وبسرعة أعلى. الأجهزة القادرة على FP8 تُعد ميزة مميزة لكل من التقديم والتدريب لأحدث النماذج الكبيرة.
• الاتصال البيني يصبح حاسمًا بمجرد أن لا يتسع النموذج على وحدة معالجة رسوميات واحدة. الروابط عالية النطاق مثل NVLink، وأقمشة المستوى العقدي لتدريب متعدد العقد، تحافظ على تغذية عدة وحدات معالجة رسوميات عندما يتم تقسيم الأوزان بينها. إعدادات متعددة وحدات معالجة رسوميات باستخدام PCIe فقط تعمل لكنها تحد من تدريب النماذج الكبيرة والاستدلال المتوازي بالتنسور.

مطابقة الحمل العملي مع المستوى المناسب

“الذكاء الاصطناعي التوليدي” يشمل احتياجات تأجير مختلفة بشكل كبير حسب ما تقوم به. قراءة القائمة أعلاه من خلال هذا المنظور ستوفر عليك المال والإحباط.

الاستدلال والتقديم

إذا كنت تنشر نموذجًا لتوليد نصوص أو صور أو صوت للمستخدمين، فأنت تريد أعلى عرض نطاق للذاكرة مقابل المال وسعة VRAM كافية لحمل النموذج بالإضافة إلى ذاكرة KV معقولة (الذاكرة لكل طلب التي تنمو مع طول السياق). بالنسبة للتوليد بأسلوب الدردشة والسياقات الطويلة، يمكن لذاكرة KV أن تنافس الأوزان في الحجم، لذا لا تقم بتحديد حجم المثيل بناءً على أوزان النموذج فقط. التكميم إلى INT8 أو FP8 يتيح لك استيعاب نماذج أكبر أو تقديم طلبات متزامنة أكثر على بطاقات أصغر. للتقديم في الوقت الحقيقي والحساس للكمون، عادة ما تفوق وحدة معالجة رسوميات سريعة واحدة لكل نسخة توزيع النموذج على عدة وحدات معالجة رسوميات.

التخصيص والتكييف

معظم الفرق التي تخصص نموذجًا أساسيًا تقوم بضبط دقيق فعال للمعلمات (LoRA/QLoRA) بدلاً من التدريب الكامل. QLoRA بشكل خاص يحتفظ بالنموذج الأساسي مكممًا ويدرب أوزان محولات صغيرة، مما يخفض بشكل كبير متطلبات VRAM — تصبح النماذج الكبيرة قابلة للتعديل على بطاقة واحدة بسعة 24 إلى 48 جيجابايت. بالمقابل، يتطلب الضبط الكامل للنماذج الكبيرة وجود حالة المحسن والتدرجات في الذاكرة، مما يمكن أن يضاعف الحاجة عدة مرات ويدفعك نحو معجلات 80 جيجابايت أو عقد متعددة وحدات معالجة رسوميات مع اتصال بيني قوي.

التدريب المسبق والتدريب على نطاق واسع

تدريب نموذج توليدي كبير من الصفر هو الحالة الأكثر تطلبًا. يهيمن عليه التوسع متعدد وحدات معالجة الرسوميات ومتعدد العقد، لذا فإن عرض النطاق للاتصال البيني، والتخزين المشترك السريع لإبقاء محملات البيانات مشغلة، والمعجلات عالية الأداء الموثوقة مع دعم HBM وFP8 كلها مهمة. هنا تصبح التوفر عند الطلب والندرة مسألة تخطيط، وحيث غالبًا ما يكون من المنطقي أكثر استخدام السعة المخصصة أو المحجوزة بدلاً من مطاردة أرخص سعر مؤقت.

كيفية قراءة المقارنة أعلاه للذكاء الاصطناعي التوليدي

الجدول يتعامل مع التفاصيل الحية، لكن إليك ما يجب مراعاته أثناء تصفحه:

• ذاكرة الفيديو أولاً، ثم عرض النطاق. قم بتصفية المثيلات التي يمكنها فعليًا حمل نموذجك وذاكرة KV الخاصة به، ثم فضل ذاكرة من فئة HBM لمعدل استدلال أعلى.
• وحدة معالجة رسوميات واحدة مقابل متعددة. إذا كان نموذجك يتسع على وحدة معالجة رسوميات واحدة، فإن بطاقة سريعة واحدة أبسط وعادة ما تكون أرخص من صندوق متعدد وحدات معالجة رسوميات لا يمكنك استخدامه بالكامل. لا تلجأ إلى مثيلات متعددة وحدات معالجة رسوميات متصلة بـ NVLink إلا عندما يمتد النموذج فعليًا عبر البطاقات.
• دقة الفوترة. الأحمال التوليدية غالبًا ما تكون متقطعة — مهمة دفعة صور، تشغيل تقييم، نقطة نهاية متقطعة. الفوترة بالثانية أو بالدقيقة والقدرة على إيقاف المثيلات بسرعة تحميك من دفع مقابل معجلات غير مستخدمة.
• المثيلات المؤقتة مقابل عند الطلب. المثيلات القابلة للمقاطعة ممتازة للعمل المتحمل للأخطاء مثل توليد الدفعات للصور أو الفيديو والضبط الدقيق المحفوظ، لكنها محفوفة بالمخاطر لنقطة نهاية تواجه المستخدم يجب أن تبقى متاحة.
• التخزين والنقل. أوزان النماذج كبيرة للنقل والتخزين المستمر لنقاط التحقق يتراكم؛ تحقق كيف يتم فرض الرسوم على كل خيار للتخزين ونقل البيانات، وليس فقط وقت وحدة معالجة الرسوميات.

نظرًا لأن التسعير والتوفر لأكثر المعجلات طلبًا يتغيران بشكل متكرر، اعتبر الأرقام الحية في المقارنة أعلاه مصدر الحقيقة واستخدم الإرشادات هنا لتقرر أي الصفوف تستحق المقارنة.

الأسئلة المتكررة

كم من ذاكرة الفيديو أحتاج للذكاء الاصطناعي التوليدي؟

يعتمد ذلك على حجم النموذج والدقة. النماذج المكممة في نطاق 7 إلى 13 مليار تعمل على بطاقات من فئة المستهلك بسعة 24 جيجابايت، والنماذج متوسطة الحجم والتقديم بدقة كاملة تفضل بطاقات 48 جيجابايت، والنماذج الكبيرة بحوالي 70 مليار معلمة أو أكثر عادة ما تحتاج إلى معجلات من فئة 80 جيجابايت أو عدة وحدات معالجة رسوميات معًا. دائمًا خصص ذاكرة إضافية لذاكرة KV أثناء التوليد في سياقات طويلة.

هل يجب أن أستخدم مثيلات مؤقتة أم عند الطلب للذكاء الاصطناعي التوليدي؟

استخدم السعة المؤقتة أو القابلة للمقاطعة للعمل المتحمل للأخطاء مثل توليد دفعات الصور أو الفيديو والضبط الدقيق المحفوظ، حيث أن الانقطاع يكلفك فقط إعادة التشغيل. استخدم السعة عند الطلب أو المحجوزة لنقاط النهاية الإنتاجية وأي تدريب طويل لا يمكن استئنافه بسهولة، لأن الاسترجاع غير المتوقع هناك أكثر إزعاجًا.

هل أحتاج إلى وحدة معالجة رسوميات بمركز بيانات بسعة 80 جيجابايت، أم تكفي بطاقة مستهلك؟

للتجارب، وضبط LoRA/QLoRA، وتقديم نماذج مكممة صغيرة إلى متوسطة الحجم، غالبًا ما تكون وحدة معالجة رسوميات من فئة المستهلك بسعة 24 جيجابايت كافية وأرخص للإيجار. ارتق إلى معجلات 80 جيجابايت المدعومة بذاكرة HBM عندما تحتاج إلى عرض نطاق ذاكرة أعلى لمعدل الإنتاجية، تسريع FP8، NVLink لتوسع متعدد وحدات معالجة الرسوميات، أو ببساطة مساحة أكبر للنماذج الكبيرة والدفعات الكبيرة.

لماذا توليد الرموز بطيء رغم أن وحدة معالجة الرسوميات ليست مستغلة بالكامل؟

الاستدلال التوليدي عادة ما يكون مرتبطًا بعرض نطاق الذاكرة وليس بالحوسبة، لذا قد ترى سقوفًا عالية لعدد الرموز في الثانية حتى عندما يبدو استخدام الحوسبة الخام منخفضًا. الحل هو بطاقة بذاكرة أسرع (HBM بدلاً من GDDR)، تكميم النموذج إلى INT8 أو FP8، أو تجميع طلبات أكثر معًا بحيث تخدم الأوزان التي تبثها من الذاكرة عدة توليدات في آن واحد.