هل يدعم NVIDIA GB200 Superchip تنسيقات BF16 و FP8؟

الإجابة

تقرأ ورقة مواصفات NVIDIA GB200 Superchip الكاملة: الجيل Blackwell، 384 جيجابايت من ذاكرة VRAM HBM3e، عرض نطاق ترددي للذاكرة 16,000 جيجابايت/ثانية، 4,500 تيرافلوبس FP16، 150 تيرافلوبس FP32، استهلاك طاقة 2,700 واط، أُطلقت في 2024.

عادةً ما تكون الذاكرة هي القيد في الاستدلال الفوري للنماذج الكبيرة — عند 384 جيجابايت، تتعامل NVIDIA GB200 Superchip بسهولة مع محولات متوسطة الحجم بدقة FP16 ونماذج أكبر بكثير بدقة FP8/INT8. رقم 16,000 جيجابايت/ثانية مهم بشكل خاص لفك الترميز التوليدي المقيد بذاكرة KV-cache، حيث يحد عرض النطاق الترددي للذاكرة عدد الرموز في الثانية أكثر من الحوسبة الخام.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.