بہترین کلاؤڈ GPU فراہم کنندگان NVIDIA A40 کے ساتھ

NVIDIA A40 حقیقت میں کیا ہے

A40 ایک Ampere-نسل ڈیٹا سینٹر GPU ہے جو GA102 ڈائی پر مبنی ہے — وہی سلیکون فیملی جو NVIDIA کے اعلیٰ درجے کے Ampere ورک سٹیشن اور صارف کارڈز کو طاقت دیتی ہے۔ یہ NVIDIA کی پروفیشنل ویژولائزیشن لائن میں آتا ہے نہ کہ اس کی کمپیوٹ-فرسٹ A100 لائن میں، جو اس کی کرایہ داری اور قابلیت کو مکمل طور پر متاثر کرتی ہے۔ کرایہ پر لینے والوں کے لیے اس کی سب سے بڑی خصوصیت میموری کی گنجائش ہے: A40 میں 48 GB GDDR6 ECC کے ساتھ ہے، جو ایک بڑا ذخیرہ ہے جو آپ کو بڑے ماڈلز اور ڈیٹا سیٹس کو لوڈ کرنے دیتا ہے بغیر ملٹی-GPU شیئرنگ کے سہارا لیے۔

چونکہ یہ GDDR6 استعمال کرتا ہے بجائے HBM2e کے جو A100 میں پایا جاتا ہے، اس کی خام میموری بینڈوڈتھ کم ہے — تقریباً سیکڑوں GB/s کی حد میں بجائے اس کے کہ HBM کارڈز جو کئی ٹیرا بائٹس فی سیکنڈ فراہم کرتے ہیں۔ یہ واحد فرق سب سے اہم چیز ہے جو اوپر دی گئی موازنہ کو سمجھتے ہوئے دھیان میں رکھنی چاہیے: A40 آپ کو معتدل بینڈوڈتھ پر وافر VRAM دیتا ہے، جو بینڈوڈتھ پر منحصر HBM کارڈ سے بالکل مختلف قدر کی پیشکش ہے۔

کمپیوٹ اور درستگی کی حمایت

A40 میں Ampere کے تیسرے نسل کے ٹینسر کورز اور دوسرے نسل کے RT کورز شامل ہیں۔ AI کام کے لیے متعلقہ درستگیاں اچھی طرح شامل ہیں:

• FP16 اور BF16 مکسڈ-پریسیژن ٹریننگ اور انفرنس کے لیے، ٹینسر کور تیز رفتاری کے ساتھ۔
• TF32، Ampere کا ٹینسر فارمیٹ جو FP32 طرز کی ٹریننگ ریاضی کو کم سے کم کوڈ تبدیلیوں کے ساتھ تیز کرتا ہے۔
• INT8 اور INT4 کوانٹائزڈ، ہائی تھروپٹ انفرنس کے لیے۔
• ساختی سپارسٹی کی حمایت، جو ماڈلز میں مؤثر ٹینسر کور تھروپٹ کو تقریباً دوگنا کر سکتی ہے جو اس کا فائدہ اٹھانے کے لیے تربیت دیے گئے ہوں۔

جو چیز A40 میں نہیں ہے وہ FP8 ہے، جو بعد کی Hopper نسل (H100) اور Ada اور Blackwell فیملیز کے ساتھ آیا۔ اگر آپ کا ورک فلو خاص طور پر FP8 ٹریننگ یا انفرنس کرنلز کو ہدف بناتا ہے، تو A40 غلط کارڈ ہے اور آپ کو اوپر دی گئی فہرست میں نئی نسل کے لیے فلٹر کرنا چاہیے۔

انٹرکنیکٹ، اسکیلنگ اور پاور

A40 PCIe Gen4 کے ذریعے جڑتا ہے اور NVLink کی حمایت کرتا ہے تاکہ دو کارڈز کو جوڑا جا سکے، جو میموری بھوکے کاموں کے لیے مشترکہ 96 GB پول پیش کر سکتا ہے۔ یہ SXM A100/H100 کے استعمال کردہ ایک ہی گھنے NVLink فیبرک (NVSwitch) کے ساتھ کئی GPUs پر اسکیل نہیں کرتا، لہٰذا اسے ایک مضبوط سنگل یا ڈوئل-GPU کارڈ کے طور پر سمجھنا چاہیے نہ کہ آٹھ طرفہ ٹریننگ کلسٹر کی بنیاد کے طور پر۔ یہ ایک غیر فعال طور پر ٹھنڈا کیا گیا، سرور-مرکوز بورڈ ہے جو تقریباً 300 W کلاس میں آتا ہے، جو فراہم کنندگان کو اسے کثرت سے پیک کرنے اور پرکشش نرخوں پر پیش کرنے کی اجازت دیتا ہے۔

وہ کام جن کے لیے A40 واقعی موزوں ہے

A40 کی خصوصیات — بہت زیادہ VRAM، معتدل بینڈوڈتھ، مکمل Ampere AI خصوصیات، اور حقیقی RT کورز — اسے ایک ورسٹائل مڈ-ٹیر کرایہ دار بناتی ہیں۔ یہ درج ذیل کے لیے مضبوط میل کھاتا ہے:

• مڈ سائز زبان کے ماڈلز کی فائن-ٹیوننگ اور LoRA/QLoRA، جہاں 48 GB آپ کو آپٹیمائزر کی حالتیں اور لمبی سیکوینسز برقرار رکھنے دیتا ہے۔
• ہائی تھروپٹ بیچ انفرنس 7B–34B پیرامیٹر رینج کے ماڈلز کے لیے (خاص طور پر کوانٹائزڈ)، جہاں گنجائش چوٹی بینڈوڈتھ سے زیادہ اہم ہوتی ہے۔
• رینڈرنگ، 3D، ورچوئل ورک سٹیشنز اور ویژولائزیشن، جہاں RT کورز اور بڑا فریم بفر براہ راست مفید ہوتے ہیں — یہ کارڈ کی اصل جگہ ہے۔
• کمپیوٹر وژن، ڈفیوزن ماڈل امیج جنریشن، اور عمومی ML تجربات جو آرام دہ طریقے سے 48 GB میں فٹ ہوتے ہیں۔

یہ چھوٹے ماڈلز یا ہلکے ڈویلپمنٹ کام کے لیے زیادہ ہے جہاں ایک چھوٹا، سستا کارڈ کام دے سکتا ہے، اور یہ بہت بڑے ماڈلز کی فرنٹیئر-اسکیل پری ٹریننگ کے لیے کمزور ہے، جہاں آپ کو HBM بینڈوڈتھ، FP8، اور گھنے ملٹی-GPU انٹرکنیکٹ کی ضرورت ہوتی ہے۔ انتہائی تھروپٹ کے لیے لیٹنسی-کریٹیکل ریئل ٹائم انفرنس میں، ایک نیا انفرنس-آپٹیمائزڈ کارڈ عام طور پر ٹوکنز فی سیکنڈ فی ڈالر پر جیت جائے گا چاہے اس میں کم VRAM ہو۔

A40 کرایہ پر لینا: لاگت اور دستیابی کا سیاق و سباق

کرایہ کی مارکیٹ میں A40 عام طور پر مڈ ٹیر میں آتا ہے — جو A100/H100 کلاس کے HBM کارڈز کے مقابلے میں فی گھنٹہ نمایاں طور پر سستا ہے، لیکن ابتدائی سطح کے صارف GPUs سے اوپر ہے۔ اس کی کشش VRAM کے فی گیگابائٹ لاگت ہے: جب آپ کی رکاوٹ ماڈل کو میموری میں فٹ کرنا ہو نہ کہ اسے زیادہ سے زیادہ بینڈوڈتھ پر پروسیس کرنا، تو A40 اکثر 48 GB حاصل کرنے کا سب سے معیشتی طریقہ ہوتا ہے۔ چونکہ یہ ایک پختہ، وسیع پیمانے پر تعینات کارڈ ہے، اس لیے آن-ڈیمانڈ دستیابی عام طور پر اچھی ہوتی ہے اور یہ نئی تیز رفتار کارڈز کی کمی اور انتظار کی فہرستوں کا شکار کم ہوتا ہے۔

بہت سے فراہم کنندگان اسے اسپاٹ یا انٹرپٹیبل سطحوں پر مزید رعایت کے ساتھ پیش کرتے ہیں، جو چیک پوائنٹڈ فائن-ٹیوننگ اور بیچ جابز کے لیے موزوں ہے جو ری اسٹارٹ برداشت کر سکتے ہیں۔ درست نرخ مسلسل بدلتے رہتے ہیں اور فراہم کنندہ، خطہ، اور عزم کے حساب سے مختلف ہوتے ہیں، لہٰذا اوپر دی گئی موازنہ کو لائیو فی گھنٹہ قیمتوں کے لیے استعمال کریں نہ کہ کسی مقررہ عدد کے لیے — اور جب آپ موازنہ کریں، تو آن-ڈیمانڈ بمقابلہ اسپاٹ، بلنگ کی تفصیل، اور اگر آپ کو 96 GB مشترکہ پول کی ضرورت ہو تو NVLink جوڑی کی پیشکش کو مدنظر رکھیں۔

اکثر پوچھے جانے والے سوالات

NVIDIA A40 میں کتنی VRAM ہے؟

A40 میں 48 GB GDDR6 میموری ECC کے ساتھ ہے۔ یہ بڑی گنجائش اس کی کرایہ داری کی سب سے بڑی خصوصیت ہے، جو آپ کو مڈ-سائز ماڈلز کی فائن-ٹیوننگ یا ایک ہی کارڈ پر کوانٹائزڈ بڑے ماڈل کی انفرنس چلانے دیتی ہے۔

کیا A40 بڑے زبان کے ماڈلز کی تربیت کے لیے اچھا ہے؟

یہ مڈ-سائز ماڈلز کی فائن-ٹیوننگ اور تربیت کے لیے موزوں ہے اس کی 48 GB پول کی بدولت، لیکن فرنٹیئر-اسکیل پری ٹریننگ کے لیے مثالی نہیں ہے۔ اس کے لیے آپ کو HBM بینڈوڈتھ، FP8 سپورٹ، اور گھنے ملٹی-GPU انٹرکنیکٹ کی ضرورت ہوتی ہے جو نئے Hopper یا Blackwell کارڈز میں پایا جاتا ہے — اگر پری ٹریننگ آپ کا مقصد ہے تو اوپر دی گئی فہرست میں ان کے لیے فلٹر کریں۔

A40 کا A100 سے موازنہ کیسے ہے؟

دونوں Ampere ہیں، لیکن A100 ہائی-بینڈوڈتھ HBM2e میموری استعمال کرتا ہے جو بہت زیادہ بینڈوڈتھ فراہم کرتی ہے اور گھنے NVSwitch اسکیلنگ کی حمایت کرتا ہے، جو اسے بڑے پیمانے پر تربیت کے لیے مضبوط بناتا ہے۔ A40 اس بینڈوڈتھ کو ایک بڑے 48 GB GDDR6 پول اور RT کورز کے بدلے دیتا ہے، اور کرایہ پر کم مہنگا ہے — جب گنجائش اور لاگت چوٹی تھروپٹ سے زیادہ اہم ہو تو یہ بہتر انتخاب ہے۔

کیا A40 ملٹی-GPU جابز کے لیے NVLink کی حمایت کرتا ہے؟

ہاں، دو A40s کو NVLink کے ذریعے جوڑا جا سکتا ہے تاکہ مشترکہ 96 GB میموری پول پیش کیا جا سکے، جو ایسے ماڈلز کے لیے مددگار ہے جو ایک ہی کارڈ پر فٹ نہیں ہوتے۔ تاہم، یہ SXM ڈیٹا سینٹر کارڈز کے استعمال کردہ گھنے فیبرک کے ساتھ کئی GPUs پر اسکیل نہیں کرتا، لہٰذا اسے سنگل یا ڈوئل-GPU کرایہ کے طور پر سمجھیں۔