الأحمال المقيدة بالذاكرة مقابل الأحمال المقيدة بالحوسبة في NVIDIA GeForce RTX 4060 Ti

الإجابة

عنوان أداء NVIDIA GeForce RTX 4060 Ti: 22.1 تيرافلوبس FP16، 11 تيرافلوبس FP32، 288 جيجابايت/ثانية عرض النطاق الترددي، 16 جيجابايت ذاكرة فيديو.

محول إلى مقاييس عملية: تدريب نموذج LLM بسبعة مليارات معامل بدقة FP16 مع أحجام دفعات معقولة عادةً ما يشبع الحوسبة قبل عرض النطاق؛ الخدمة في الوقت الحقيقي على نفس النموذج عادةً ما تكون مقيدة بعرض النطاق وتتبع الرقم 288 جيجابايت/ثانية. تجلس مقاييس توليد الصور بالانتشار بين الاثنين — الخطوات الثقيلة على الحوسبة تستخدم نوى التنسور جيدًا، بينما لا تزال كتل الانتباه تلمس عرض النطاق.

The NVIDIA GeForce RTX 4060 Ti page has the complete datasheet and side-by-side comparisons.