NVIDIA GB200 Superchip متعدد GPUs پر کتنی اچھی طرح اسکیل ہوتی ہے؟

جواب

NVIDIA GB200 Superchip کی کارکردگی کا سرنامہ: 4,500 FP16 TFLOPS، 150 FP32 TFLOPS، 16,000 GB/s بینڈوڈتھ، 384 GB VRAM۔

عملی بینچ مارکس میں تبدیل: 7B پیرامیٹر LLM کی FP16 میں ماڈل تربیت معقول بیچ سائز کے ساتھ عام طور پر بینڈوڈتھ سے پہلے کمپیوٹ کو سیر کرتی ہے؛ اسی ماڈل پر حقیقی وقت کی سروس عام طور پر بینڈوڈتھ-محدود ہوتی ہے اور 16,000 GB/s کے عدد کے مطابق ہوتی ہے۔ ڈفیوزن امیج جنریشن کے بینچ مارکس دونوں کے درمیان ہوتے ہیں — کمپیوٹ بھاری مراحل ٹینسر کورز کو اچھی طرح استعمال کرتے ہیں، جبکہ اٹینشن بلاکس اب بھی بینڈوڈتھ کو چھوتے ہیں۔

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.