هل NVIDIA GeForce RTX 3080 أسرع من A100 في التعديل الدقيق؟

الإجابة

الحوسبة الخام على NVIDIA GeForce RTX 3080 تصل إلى ذروتها عند 29.8 تيرافلوبس FP16 و 14.9 تيرافلوبس FP32، مع 760 جيجابايت/ثانية من عرض النطاق الترددي للذاكرة تغذي وحدات الحوسبة. تجلب بنية Ampere نوى تنسور محسّنة لـ BF16/FP16 / FP8 الدقة المختلطة — الصيغ التي تهم أكثر للمحولات الحديثة.

يقارب معدل نقل بيانات تدريب النماذج الواقعي القمم النظرية عند أحجام دفعات كبيرة؛ الدفعات الأصغر تكون مقيدة بالذاكرة. للاستدلال منخفض الكمون، يعتمد عدد الرموز في الثانية على المحولات مثل Llama 70B بشكل كبير على استراتيجية التكميم — FP8/INT8 تفتح سقف الحوسبة، FP16 مقيد بعرض النطاق.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.