NVIDIA GeForce RTX 3090 Ti متعدد GPUs پر کتنی اچھی طرح اسکیل ہوتی ہے؟

جواب

NVIDIA GeForce RTX 3090 Ti کی کارکردگی کا سرنامہ: 40 FP16 TFLOPS، 20 FP32 TFLOPS، 1,008 GB/s بینڈوڈتھ، 24 GB VRAM۔

عملی بینچ مارکس میں تبدیل: 7B پیرامیٹر LLM کی FP16 میں ماڈل تربیت معقول بیچ سائز کے ساتھ عام طور پر بینڈوڈتھ سے پہلے کمپیوٹ کو سیر کرتی ہے؛ اسی ماڈل پر حقیقی وقت کی سروس عام طور پر بینڈوڈتھ-محدود ہوتی ہے اور 1,008 GB/s کے عدد کے مطابق ہوتی ہے۔ ڈفیوزن امیج جنریشن کے بینچ مارکس دونوں کے درمیان ہوتے ہیں — کمپیوٹ بھاری مراحل ٹینسر کورز کو اچھی طرح استعمال کرتے ہیں، جبکہ اٹینشن بلاکس اب بھی بینڈوڈتھ کو چھوتے ہیں۔

Review full specs and related comparisons on the NVIDIA GeForce RTX 3090 Ti page.