استئجار NVIDIA GH200 Superchip في السحابة

NVIDIA GH200 Superchip مبنية على معمارية Hopper وتأتي مع 96 جيجابايت من ذاكرة HBM3 عند عرض نطاق ترددي 4,000 جيجابايت/ثانية. أُطلقت في 2023، وتقدم البطاقة 989 تيرافلوبس FP16 و 494.5 تيرافلوبس FP32 عند استهلاك طاقة حرارية 700 واط.

لباحثي التعلم الآلي، تترجم تلك الأرقام إلى عدة حدود عملية: سقف VRAM يحدد أكبر أوزان نموذج لغة كبيرة يمكنك تحميلها (وأقصى حجم دفعة عند طول تسلسل معين)، بينما يحدد عرض النطاق الترددي الحد الأعلى للاستدلال الثقيل على الانتباه. معدل الحوسبة مهم بشكل خاص لعمليات ضرب المصفوفات الكثيفة — التدريب المسبق، التدريب المسبق على دفعات كبيرة، والانتشار.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.

الإجابة المختصرة: NVIDIA GH200 Superchip يعمل عند 989 تيرافلوبس FP16 مع 4,000 جيجابايت/ثانية من عرض النطاق الترددي للذاكرة. الإجابة الأطول تعتمد على ما تقوم بتشغيله.

للتدريب الكثيف FP16 مع دفعات كبيرة، يشبع NVIDIA GH200 Superchip نوى التنسور ويوفر معدل نقل بيانات قريب من ذروة الفلوبس. للخدمة المقيدة بالذاكرة على نماذج الأساس ذات السياق الطويل، يهيمن عرض النطاق — الرقم 4,000 جيجابايت/ثانية أهم من تيرافلوبس العنوانية. للحوسبة العلمية، FP32 عند 494.5 تيرافلوبس هو الرقم ذي الصلة ويضع NVIDIA GH200 Superchip في خط توقعات الحوسبة عالية الأداء لفئته Hopper.

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.

حالات الاستخدام التي يؤدي فيها NVIDIA GH200 Superchip أداءً جيدًا: Large-scale AI training, HPC. ذاكرة الفيديو 96 جيجابايت، ونوى التنسور Hopper، وموقع data-center تجعلها مناسبة لفرق الذكاء الاصطناعي التي تحتاج إلى أجهزة بمستوى السحابة دون تكلفة زائدة لأحدث المعجلات.

قاعدة جيدة: إذا كان نموذجك يناسب 96 جيجابايت من ذاكرة الفيديو عند الدقة المستهدفة، وكان حمل عملك مرتبطًا بعرض النطاق الترددي أو القدرة الحاسوبية بدلاً من الذاكرة، فمن المحتمل أن يكون NVIDIA GH200 Superchip خيارًا اقتصاديًا أفضل من الترقية إلى فئة أعلى.

Review full specs and related comparisons on the NVIDIA GH200 Superchip page.