ما مدى كفاءة NVIDIA GB200 Superchip في التوسع عبر عدة وحدات معالجة رسومية؟

الإجابة

عنوان أداء NVIDIA GB200 Superchip: 4,500 تيرافلوبس FP16، 150 تيرافلوبس FP32، 16,000 جيجابايت/ثانية عرض النطاق الترددي، 384 جيجابايت ذاكرة فيديو.

محول إلى مقاييس عملية: تدريب نموذج LLM بسبعة مليارات معامل بدقة FP16 مع أحجام دفعات معقولة عادةً ما يشبع الحوسبة قبل عرض النطاق؛ الخدمة في الوقت الحقيقي على نفس النموذج عادةً ما تكون مقيدة بعرض النطاق وتتبع الرقم 16,000 جيجابايت/ثانية. تجلس مقاييس توليد الصور بالانتشار بين الاثنين — الخطوات الثقيلة على الحوسبة تستخدم نوى التنسور جيدًا، بينما لا تزال كتل الانتباه تلمس عرض النطاق.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.