جنریٹو AI کے لیے بہترین کلاؤڈ GPUs

کرائے پر لیے گئے GPU سے جنریٹو AI کی اصل مانگ

جنریٹو AI ایک وسیع اصطلاح ہے۔ یہ آٹو ریگریسیو بڑے زبان کے ماڈلز، ڈفیوزن پر مبنی تصویر اور ویڈیو جنریٹرز، ٹیکسٹ سے آڈیو اور موسیقی کے ماڈلز، اور بڑھتے ہوئے ملٹی موڈل سسٹمز کو شامل کرتا ہے جو ایک ساتھ کئی کام سنبھالتے ہیں۔ مشترکہ بات یہ ہے کہ ماڈلز آپ کے دیے گئے ڈیٹا کے مقابلے میں بڑے ہوتے ہیں، اور رکاوٹ تقریباً ہمیشہ GPU میموری ہوتی ہے نہ کہ خام کمپیوٹ۔ اوپر دی گئی موازنہ پڑھنے سے پہلے یہ جاننا مددگار ہوتا ہے کہ اس ورک لوڈ کے لیے کون سے پہلو اہم ہیں۔

• وی آر اے ایم کی گنجائش یہ طے کرتی ہے کہ آپ کیا لوڈ کر سکتے ہیں۔ ماڈل کے وزن کو میموری میں ایکٹیویشنز کے ساتھ فٹ ہونا چاہیے اور تربیت کے دوران آپٹیمائزر کی حالت اور گریڈینٹس بھی۔ 7B–13B پیرامیٹر کے کوانٹائزڈ ماڈل پر انفرنس ایک 24GB کارڈ پر آسان ہے، جبکہ 70B ماڈل کو اعلیٰ پریسیژن میں چلانے کے لیے آپ کو 80GB کلاس کے ایکسلریٹرز یا متعدد GPUs کی ضرورت ہوتی ہے۔
• میموری بینڈوڈتھ ٹوکن تھروپٹ کو کنٹرول کرتی ہے۔ جنریٹو انفرنس میموری پر منحصر ہوتی ہے: ہر پیدا ہونے والا ٹوکن ماڈل کے وزنوں کو کمپیوٹ یونٹس کے ذریعے اسٹریم کرنے کا تقاضا کرتا ہے، لہٰذا HBM کلاس بینڈوڈتھ (جو ڈیٹا سینٹر ایکسلریٹرز میں ملتی ہے) GDDR بیسڈ کنزیومر کارڈز کے مقابلے میں بہت زیادہ ٹوکن فی سیکنڈ پیدا کرتی ہے، چاہے VRAM برابر ہو۔
• کم پریسیژن سپورٹ یہاں بہت سے دوسرے ورک لوڈز کے مقابلے میں زیادہ اہم ہے۔ ٹینسر کورز جو FP16، BF16، اور خاص طور پر FP8 یا INT8 کو تیز کرتے ہیں آپ کو کم میموری میں بڑے ماڈلز چلانے اور زیادہ رفتار سے کام کرنے دیتے ہیں۔ FP8 قابل ہارڈویئر نئے بڑے ماڈلز کی سروسنگ اور ٹریننگ دونوں کے لیے ایک اہم فرق پیدا کرتا ہے۔
• انٹرکنیکٹ اس وقت فیصلہ کن ہو جاتا ہے جب ماڈل ایک GPU میں فٹ نہیں ہوتا۔ NVLink جیسے ہائی بینڈوڈتھ لنکس اور ملٹی نوڈ ٹریننگ کے لیے نوڈ لیول فیبرکس متعدد GPUs کو فیڈ رکھتے ہیں جب وزن ان کے درمیان تقسیم کیے جاتے ہیں۔ صرف PCIe والے ملٹی-GPU سیٹ اپ کام کرتے ہیں لیکن بڑے ماڈلز کی ٹریننگ اور ٹینسر-پیرالل انفرنس کو محدود کرتے ہیں۔

ورک لوڈ کو صحیح ٹائر کے مطابق ملانا

“جنریٹو AI” مختلف کرائے کی ضروریات رکھتا ہے جو آپ کے کام پر منحصر ہوتی ہیں۔ اوپر دی گئی فہرست کو اس نقطہ نظر سے پڑھنا آپ کے پیسے اور پریشانی بچا سکتا ہے۔

انفرنس اور سروسنگ

اگر آپ ماڈل کو صارفین کے لیے متن، تصاویر، یا آڈیو پیدا کرنے کے لیے تعینات کر رہے ہیں، تو آپ کو فی ڈالر سب سے زیادہ میموری بینڈوڈتھ چاہیے اور اتنی VRAM کہ ماڈل اور معقول KV کیش (جو ہر درخواست کے لیے میموری ہے اور کانٹیکسٹ کی لمبائی کے ساتھ بڑھتی ہے) دونوں کو رکھ سکے۔ چیٹ اسٹائل اور طویل کانٹیکسٹ جنریشن کے لیے KV کیش وزن کے برابر یا اس سے زیادہ ہو سکتا ہے، لہٰذا اپنی انسٹینس کا سائز صرف ماڈل کے وزنوں کے مطابق نہ رکھیں۔ INT8 یا FP8 کوانٹائزیشن آپ کو بڑے ماڈلز چلانے یا چھوٹے کارڈز پر زیادہ متوازی درخواستیں سروس کرنے دیتی ہے۔ حقیقی وقت کی، لیٹینسی حساس سروسنگ کے لیے، عام طور پر ہر ریپلیکا پر ایک تیز GPU متعدد GPUs پر ماڈل کو پھیلانے سے بہتر ہوتا ہے۔

فائن ٹوننگ اور ایڈاپٹیشن

زیادہ تر ٹیمیں فاؤنڈیشن ماڈل کو مکمل تربیت کے بجائے پیرامیٹر-موثر فائن ٹوننگ (LoRA/QLoRA) کر رہی ہیں۔ خاص طور پر QLoRA بیس ماڈل کو کوانٹائزڈ رکھتا ہے اور چھوٹے ایڈاپٹر وزن تربیت دیتا ہے، جو VRAM کی حد کو بہت کم کر دیتا ہے — بڑے ماڈلز ایک 24GB–48GB کارڈ پر قابل تربیت ہو جاتے ہیں۔ بڑے ماڈلز کی مکمل فائن ٹوننگ کے لیے، آپٹیمائزر کی حالت اور گریڈینٹس میموری میں ہونے کی وجہ سے ضرورت کئی گنا بڑھ جاتی ہے اور آپ کو 80GB ایکسلریٹرز یا مضبوط انٹرکنیکٹ کے ساتھ ملٹی-GPU نوڈز کی طرف لے جاتی ہے۔

پری ٹریننگ اور بڑے پیمانے پر تربیت

بڑے جنریٹو ماڈل کو ابتدا سے تربیت دینا سب سے زیادہ مطالبہ کرنے والا کیس ہے۔ یہ ملٹی-GPU اور ملٹی-نوڈ اسکیلنگ پر منحصر ہوتا ہے، لہٰذا انٹرکنیکٹ بینڈوڈتھ، تیز مشترکہ اسٹوریج تاکہ ڈیٹا لوڈرز کو فیڈ رکھا جا سکے، اور قابل اعتماد اعلیٰ معیار کے ایکسلریٹرز جن میں HBM اور FP8 سپورٹ ہو، سب اہم ہیں۔ یہاں آن-ڈیمانڈ دستیابی اور قلت منصوبہ بندی کا مسئلہ بنتی ہے، اور اکثر کم قیمت والے اسپوٹ پرائس کے پیچھے بھاگنے کے بجائے کمٹڈ یا ریزروڈ کیپیسٹی زیادہ معقول ہوتی ہے۔

اوپر دی گئی موازنہ کو جنریٹو AI کے لیے کیسے پڑھیں

ٹیبل مخصوص تفصیلات کو ہینڈل کرتا ہے، لیکن یہاں وہ چیزیں ہیں جنہیں آپ کو دیکھنا چاہیے جب آپ اسے اسکین کر رہے ہوں:

• سب سے پہلے VRAM، پھر بینڈوڈتھ. ایسی انسٹینسز کو فلٹر کریں جو آپ کے ماڈل اور اس کے KV کیش کو واقعی رکھ سکیں، پھر انفرنس تھروپٹ کے لیے HBM کلاس میموری کو ترجیح دیں۔
• سنگل بمقابلہ ملٹی-GPU. اگر آپ کا ماڈل ایک GPU میں فٹ ہوتا ہے، تو ایک تیز کارڈ عام طور پر ملٹی-GPU باکس سے آسان اور سستا ہوتا ہے جسے آپ مکمل استعمال نہیں کر سکتے۔ صرف NVLink سے جڑے ملٹی-GPU انسٹینسز کا انتخاب کریں جب ماڈل واقعی کارڈز میں تقسیم ہو۔
• بلنگ کی تفصیل. جنریٹو ورک لوڈز اکثر بریکٹ ہوتے ہیں — ایک بیچ امیج جاب، ایک ایویلیوایشن رن، ایک وقفے وقفے سے چلنے والا اینڈ پوائنٹ۔ فی سیکنڈ یا فی منٹ بلنگ اور انسٹینسز کو جلدی روکنے کی صلاحیت آپ کو غیر فعال ایکسلریٹرز کے لیے ادائیگی سے بچاتی ہے۔
• اسپاٹ بمقابلہ آن-ڈیمانڈ. انٹرپٹیبل انسٹینسز فالٹ ٹولرینٹ بیچ جنریشن اور چیک پوائنٹڈ فائن ٹوننگ کے لیے بہترین ہیں، لیکن صارف کے سامنے والے اینڈ پوائنٹ کے لیے خطرناک ہیں جو ہمیشہ چلتا رہنا چاہیے۔
• اسٹوریج اور ایگریس. ماڈل کے وزن بڑے ہوتے ہیں اور چیک پوائنٹس کے لیے مستقل اسٹوریج بڑھ جاتا ہے؛ چیک کریں کہ ہر آپشن اسٹوریج اور ڈیٹا ٹرانسفر کے لیے کیسے چارج کرتا ہے، صرف GPU وقت کے لیے نہیں۔

چونکہ سب سے زیادہ مطلوبہ ایکسلریٹرز کی قیمت اور فراہمی اکثر بدلتی رہتی ہے، اس لیے اوپر دی گئی موازنہ میں موجود تازہ ترین اعداد و شمار کو سچائی کا منبع سمجھیں اور یہاں دی گئی رہنمائی کو استعمال کریں تاکہ فیصلہ کریں کہ کون سی قطاریں موازنہ کے قابل ہیں۔

اکثر پوچھے جانے والے سوالات

جنریٹو AI کے لیے مجھے کتنی VRAM چاہیے؟

یہ ماڈل کے سائز اور پریسیژن پر منحصر ہے۔ 7B–13B رینج کے کوانٹائزڈ ماڈلز 24GB کنزیومر کلاس کارڈز پر چلتے ہیں، درمیانے سائز کے ماڈلز اور مکمل پریسیژن سروسنگ کے لیے 48GB کارڈز موزوں ہیں، اور 70B پیرامیٹرز یا اس سے بڑے بڑے ماڈلز کے لیے عام طور پر 80GB کلاس ایکسلریٹرز یا متعدد GPUs کی ضرورت ہوتی ہے۔ طویل کانٹیکسٹ جنریشن کے دوران KV کیش کے لیے ہمیشہ اضافی میموری کا بجٹ رکھیں۔

کیا مجھے جنریٹو AI کے لیے اسپاٹ یا آن-ڈیمانڈ انسٹینسز استعمال کرنے چاہئیں؟

بیچ امیج یا ویڈیو جنریشن اور چیک پوائنٹڈ فائن ٹوننگ جیسے فالٹ ٹولرینٹ کاموں کے لیے اسپاٹ یا انٹرپٹیبل کیپیسٹی استعمال کریں، جہاں مداخلت صرف آپ کو دوبارہ شروع کرنے کی قیمت دیتی ہے۔ پروڈکشن انفرنس اینڈ پوائنٹس اور کسی بھی طویل ٹریننگ رن کے لیے جو آسانی سے دوبارہ شروع نہیں ہو سکتا، آن-ڈیمانڈ یا ریزروڈ کیپیسٹی استعمال کریں، کیونکہ وہاں غیر متوقع ریکلیم بہت زیادہ خلل ڈالتی ہے۔

کیا مجھے 80GB ڈیٹا سینٹر GPU چاہیے، یا کنزیومر کارڈ کافی ہوگا؟

تجربات، LoRA/QLoRA فائن ٹوننگ، اور چھوٹے سے درمیانے سائز کے کوانٹائزڈ ماڈلز کی سروسنگ کے لیے 24GB کنزیومر کلاس GPU اکثر کافی اور کرائے پر سستا ہوتا ہے۔ جب آپ کو تھروپٹ کے لیے زیادہ میموری بینڈوڈتھ، FP8 ایکسیلیریشن، ملٹی-GPU اسکیلنگ کے لیے NVLink، یا صرف بڑے ماڈلز اور بڑے بیچز کے لیے زیادہ جگہ چاہیے ہو تو HBM سے لیس 80GB ایکسلریٹرز کی طرف بڑھیں۔

جبکہ GPU مکمل طور پر استعمال نہیں ہو رہا، میرا ٹوکن جنریشن سست کیوں ہے؟

جنریٹو انفرنس عموماً کمپیوٹ پر نہیں بلکہ میموری بینڈوڈتھ پر منحصر ہوتا ہے، اس لیے آپ کو کم کمپیوٹ استعمال کے باوجود زیادہ ٹوکن فی سیکنڈ کی حدیں نظر آ سکتی ہیں۔ حل یہ ہے کہ تیز میموری والا کارڈ استعمال کریں (HBM بجائے GDDR کے)، ماڈل کو INT8 یا FP8 میں کوانٹائز کریں، یا زیادہ درخواستیں ایک ساتھ بیچ کریں تاکہ میموری سے وزن اسٹریم کرتے وقت ایک سے زیادہ جنریشنز کو سروس کیا جا سکے۔