هل NVIDIA GH200 Superchip جيدة بما يكفي للاستدلال في الإنتاج؟

الإجابة

الإجابة المختصرة: NVIDIA GH200 Superchip يعمل عند 989 تيرافلوبس FP16 مع 4,000 جيجابايت/ثانية من عرض النطاق الترددي للذاكرة. الإجابة الأطول تعتمد على ما تقوم بتشغيله.

للتدريب الكثيف FP16 مع دفعات كبيرة، يشبع NVIDIA GH200 Superchip نوى التنسور ويوفر معدل نقل بيانات قريب من ذروة الفلوبس. للخدمة المقيدة بالذاكرة على نماذج الأساس ذات السياق الطويل، يهيمن عرض النطاق — الرقم 4,000 جيجابايت/ثانية أهم من تيرافلوبس العنوانية. للحوسبة العلمية، FP32 عند 494.5 تيرافلوبس هو الرقم ذي الصلة ويضع NVIDIA GH200 Superchip في خط توقعات الحوسبة عالية الأداء لفئته Hopper.

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.