أداء نوى التنسور في NVIDIA A10G

الإجابة

NVIDIA A10G هي بطاقة Ampere تقدم 70 تيرافلوبس FP16 و 35 تيرافلوبس FP32 إلى جانب 600 جيجابايت/ثانية من عرض النطاق الترددي للذاكرة. هذا يكفي من الحوسبة للتعامل مع تدريب النماذج الحديثة وأحمال العمل الخدمية في الوقت الحقيقي على نطاق جدي.

تُظهر المقاييس أن NVIDIA A10G يعمل بشكل جيد بشكل خاص على نماذج المحولات حيث تُشبع نوى التنسور بعمليات ضرب المصفوفات الكبيرة. كما تشهد نماذج الانتشار، والكلام، والرؤية تسريعات قوية مقارنة بالأجيال الأقدم. لخدمة الإنتاج الحساسة للكمون في الوقت الحقيقي، عادةً ما تحقق NVIDIA A10G معدلات الرموز في الثانية المستهدفة على نماذج اللغة الكبيرة التي تتجاوز بكثير عتبة 30-50 رمز/ثانية التي تستهدفها معظم المنتجات.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.