NVIDIA A10G کا ٹینسر کور کارکردگی

جواب

NVIDIA A10G ایک Ampere کارڈ ہے جو 70 FP16 TFLOPS اور 35 FP32 TFLOPS کے ساتھ 600 GB/s میموری بینڈوڈتھ پیش کرتا ہے۔ یہ جدید ماڈل تربیت اور حقیقی وقت کی سروس کے کاموں کو سنبھالنے کے لیے کافی کمپیوٹ ہے۔

بینچ مارکس ظاہر کرتے ہیں کہ NVIDIA A10G خاص طور پر ٹرانسفارمر طرز کے ماڈلز پر اچھا کام کرتا ہے جہاں ٹینسر کورز بڑے میٹ میولز سے سیر ہوتے ہیں۔ ڈفیوزن ماڈلز، تقریر، اور وژن کے کام بھی پرانی نسلوں کے مقابلے میں مضبوط تیز رفتاری دیکھتے ہیں۔ تاخیر حساس پروڈکشن حقیقی وقت کی سروس کے لیے، NVIDIA A10G عام طور پر بڑے زبان کے ماڈلز پر 30-50 ٹوکن/سیکنڈ کے ہدف سے کہیں زیادہ ٹوکن فی سیکنڈ کی شرح حاصل کرتا ہے جو زیادہ تر مصنوعات کا ہدف ہوتا ہے۔

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.