ما هو الأداء الأقصى لـ FP16 في NVIDIA RTX A5000؟

الإجابة

أُطلقت في 2021، NVIDIA RTX A5000 هو مسرع من فئة Ampere مع 24 جيجابايت من GDDR6، عرض نطاق ترددي للذاكرة 768 جيجابايت/ثانية، و 32.8 تيرافلوبس FP16 من الحوسبة. تبلغ ذروة FP32 27.8 تيرافلوبس وتسحب البطاقة حتى 230 واط.

من الناحية العملية: ذاكرة VRAM كافية لتحميل النماذج في نطاق ~24 مليار معلمة بدقة FP16 (أكبر مع التكميم)، عرض نطاق ترددي كافٍ لتجنب تجويع طبقات الانتباه، وحوسبة كافية لتدريب المحولات بأحجام دفعات تشبع المحسّنات الحديثة.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.