کرایہ پر لیں NVIDIA GB200 Superchip کلاؤڈ میں

مکمل NVIDIA GB200 Superchip اسپیک شیٹ پڑھتی ہے: Blackwell نسل، 384 جی بی HBM3e وی آر اے ایم، 16,000 جی بی/سیکنڈ میموری بینڈوڈتھ، 4,500 TFLOPS FP16، 150 TFLOPS FP32، 2,700 واٹ پاور ڈرا، 2024 میں ریلیز ہوا۔

میموری عام طور پر بڑے ماڈل کے ریئل ٹائم سروسنگ کے لیے رکاوٹ ہوتی ہے — 384 جی بی پر، NVIDIA GB200 Superchip آسانی سے FP16 میں درمیانے سائز کے ٹرانسفارمرز اور FP8/INT8 میں بہت بڑے ماڈلز کو سنبھالتا ہے۔ 16,000 جی بی/سیکنڈ کا عدد خاص طور پر KV-cache-bound آٹو ریگریسیو ڈی کوڈنگ کے لیے اہم ہے، جہاں میموری بینڈوڈتھ ٹوکنز/سیکنڈ کو خام کمپیوٹ سے زیادہ محدود کرتی ہے۔

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.

NVIDIA GB200 Superchip کی کارکردگی کا سرنامہ: 4,500 FP16 TFLOPS، 150 FP32 TFLOPS، 16,000 GB/s بینڈوڈتھ، 384 GB VRAM۔

عملی بینچ مارکس میں تبدیل: 7B پیرامیٹر LLM کی FP16 میں ماڈل تربیت معقول بیچ سائز کے ساتھ عام طور پر بینڈوڈتھ سے پہلے کمپیوٹ کو سیر کرتی ہے؛ اسی ماڈل پر حقیقی وقت کی سروس عام طور پر بینڈوڈتھ-محدود ہوتی ہے اور 16,000 GB/s کے عدد کے مطابق ہوتی ہے۔ ڈفیوزن امیج جنریشن کے بینچ مارکس دونوں کے درمیان ہوتے ہیں — کمپیوٹ بھاری مراحل ٹینسر کورز کو اچھی طرح استعمال کرتے ہیں، جبکہ اٹینشن بلاکس اب بھی بینڈوڈتھ کو چھوتے ہیں۔

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.

NVIDIA GB200 Superchip ان ورک لوڈز کے لیے بہترین ہے جہاں اس کی 384 GB VRAM اور Blackwell ٹینسر کورز اچھی طرح میل کھاتے ہیں: Largest-scale AI training, multi-trillion parameter models۔

اگر آپ کے ورک لوڈ کو نمایاں طور پر زیادہ میموری کی ضرورت ہے (مثلاً، فرنٹیئر اسکیل ماڈلز کو ابتدا سے تربیت دینا)، تو NVIDIA GB200 Superchip چھوٹا ہے اور آپ کو H100/H200/B200 کلاس کارڈ چاہیے ہوگا۔ اگر آپ کے ورک لوڈ کو کم میموری چاہیے (مثلاً، 7B-پیرا میٹر ماڈلز پر چھوٹے پیمانے پر سروسنگ)، تو سستے کارڈز جیسے L4 یا RTX 4090 زیادہ اقتصادی ہو سکتے ہیں۔ درمیانے بینڈ کے لیے، NVIDIA GB200 Superchip عام طور پر معقول انتخاب ہوتا ہے۔

Review full specs and related comparisons on the NVIDIA GB200 Superchip page.