کیا NVIDIA GB200 Superchip BF16 اور FP8 کو سپورٹ کرتا ہے؟

جواب

مکمل NVIDIA GB200 Superchip اسپیک شیٹ پڑھتی ہے: Blackwell نسل، 384 جی بی HBM3e وی آر اے ایم، 16,000 جی بی/سیکنڈ میموری بینڈوڈتھ، 4,500 TFLOPS FP16، 150 TFLOPS FP32، 2,700 واٹ پاور ڈرا، 2024 میں ریلیز ہوا۔

میموری عام طور پر بڑے ماڈل کے ریئل ٹائم سروسنگ کے لیے رکاوٹ ہوتی ہے — 384 جی بی پر، NVIDIA GB200 Superchip آسانی سے FP16 میں درمیانے سائز کے ٹرانسفارمرز اور FP8/INT8 میں بہت بڑے ماڈلز کو سنبھالتا ہے۔ 16,000 جی بی/سیکنڈ کا عدد خاص طور پر KV-cache-bound آٹو ریگریسیو ڈی کوڈنگ کے لیے اہم ہے، جہاں میموری بینڈوڈتھ ٹوکنز/سیکنڈ کو خام کمپیوٹ سے زیادہ محدود کرتی ہے۔

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.