انفرنس اور ماڈل سروسنگ کے لیے بہترین کلاؤڈ جی پی یوز

کرائے پر لیے گئے GPU سے حقیقت میں انفرنس کیا تقاضا کرتا ہے

انفرنس ماڈل کی زندگی کے سروسنگ مرحلے کو کہتے ہیں: وزن پہلے ہی تربیت یافتہ ہوتے ہیں، اور آپ ہر بار جب صارف کوئی پرامپٹ، تصویر، یا درخواست بھیجتا ہے تو کمپیوٹ کے لیے ادائیگی کرتے ہیں۔ یہ ہارڈویئر کے حساب کو تربیت کے مقابلے میں مکمل طور پر بدل دیتا ہے۔ تربیت تھروپٹ پر منحصر ہوتی ہے اور گھنے کلسٹروں پر گھنٹوں یا دنوں تک چلتی ہے؛ انفرنس لیٹنسی حساس، اچانک ہوتی ہے، اور لا محدود چلتی ہے۔ جب آپ ماڈل کو سروس کرنے کے لیے GPU کرائے پر لیتے ہیں، تو آپ قابل قبول ردعمل کے وقت پر فی ٹوکن یا فی درخواست لاگت کو بہتر بنا رہے ہوتے ہیں، نہ کہ طویل کام کے دوران خام FLOPs کے لیے۔

سب سے اہم پابندی عام طور پر میموری کی گنجائش ہوتی ہے، کمپیوٹ نہیں۔ ماڈل کو VRAM میں اس کے کی-ویلیو (KV) کیش کے ساتھ فٹ ہونا ہوتا ہے، جو بیچ سائز اور کانٹیکسٹ کی لمبائی کے ساتھ بڑھتا ہے۔ بڑے زبان کے ماڈلز کے لیے یہ غالب دباؤ ہوتا ہے: 16-بٹ میں سروس کیے جانے والا ماڈل وزن کے لیے تقریباً دو بائٹس فی پیرامیٹر کی ضرورت رکھتا ہے، اس لیے ایک درمیانے سائز کا ماڈل آسانی سے ایک درمیانے درجے کے کارڈ پر بیٹھ سکتا ہے جبکہ فرنٹیئر-سکیل ماڈل کو متعدد GPUs کی ضرورت ہو سکتی ہے جو آپس میں جڑے ہوں۔ اوپر دی گئی موازنہ آپ کو VRAM کے لحاظ سے فلٹر کرنے دیتا ہے تاکہ آپ ایک کارڈ کو سب سے بڑے ماڈل کے مطابق منتخب کر سکیں جسے آپ سروس کرنا چاہتے ہیں اور ساتھ ہی متوازی درخواستوں کے لیے اضافی جگہ بھی۔

وہ خصوصیات جو انفرنس کی لاگت اور لیٹنسی کو متاثر کرتی ہیں

• VRAM کی گنجائش یہ طے کرتی ہے کہ ماڈل اور اس کا KV کیش ایک GPU پر فٹ ہوتا ہے یا اسے شارد کرنا پڑتا ہے۔ دوسرے GPU یا ہوسٹ میموری پر اسپِلنگ لیٹنسی اور پیچیدگی بڑھا دیتی ہے۔
• میموری بینڈوڈتھ ٹوکن جنریشن کے لیے اصل رکاوٹ ہے۔ آٹو ریگریسیو ڈیکوڈنگ ہر پیدا کردہ ٹوکن کے لیے پورے وزن کے سیٹ کو پڑھتی ہے، اس لیے ہائی بینڈوڈتھ میموری (HBM کلاس) GDDR کلاس میموری کے مقابلے میں ایک ہی کمپیوٹ ٹیر پر ٹوکنز کو تیزی سے جنریٹ کرتی ہے۔
• کم پریسیژن سپورٹ بہت اہم ہے۔ FP8 یا INT8 ٹینسر راستے والے کارڈز آپ کو ماڈلز کو کوانٹائز کرنے دیتے ہیں تاکہ کم معیار کے نقصان کے ساتھ ہر ڈالر پر زیادہ درخواستیں سروس کی جا سکیں۔ 8-بٹ یا 4-بٹ کوانٹائزیشن میموری کے نقوش کو بھی کم کرتی ہے، اکثر ماڈل کو سستا کارڈ پر فٹ ہونے دیتی ہے۔
• انٹرکنیکٹ (NVLink بمقابلہ PCIe) صرف اس وقت اہم ہوتا ہے جب ماڈل متعدد GPUs پر پھیلا ہو۔ سنگل-GPU سروسنگ کے لیے یہ غیر متعلقہ ہے؛ بہت بڑے ماڈلز کی ٹینسر-پیرالل سروسنگ کے لیے یہ براہ راست ٹوکن لیٹنسی کو متاثر کرتا ہے۔

بیچ (آف لائن) بمقابلہ ریئل ٹائم انفرنس

دو بہت مختلف سروسنگ پیٹرنز “انفرنس” کے لفظ کے نیچے چھپے ہوتے ہیں، اور وہ مختلف کرائے چاہتے ہیں۔

ریئل ٹائم انفرنس زندہ صارفین کو سروس دیتا ہے: ایک چیٹ بوٹ، API اینڈپوائنٹ، ویب ایپ کے پیچھے ایک امیج جنریٹر۔ یہاں ٹیل لیٹنسی حکمرانی کرتی ہے، GPUs اکثر ٹریفک کے انتظار میں جزوی طور پر بے کار بیٹھے ہوتے ہیں، اور آپ کسی انسٹینس کو درخواست کے درمیان ہٹائے جانے کو برداشت نہیں کر سکتے۔ یہ پیٹرن آن ڈیمانڈ، ہمیشہ دستیاب صلاحیت اور ایک ایسے کارڈ کو ترجیح دیتا ہے جس کی میموری بینڈوڈتھ مضبوط ہو تاکہ فی درخواست لیٹنسی چھوٹے بیچ سائز پر بھی کم رہے۔

بیچ یا آف لائن انفرنس ایک بڑا بیک لاگ پروسیس کرتا ہے: ڈیٹا سیٹ کی اسکورنگ، ایک کارپس کے لیے ایمبیڈنگز جنریٹ کرنا، ایک ملین تصاویر کے لیے کیپشننگ۔ یہاں زندہ صارفین نہیں ہوتے، اس لیے فی آئٹم لیٹنسی تقریباً معنی نہیں رکھتی اور آپ بڑے بیچز پیک کر کے GPU کو مکمل طور پر استعمال کر سکتے ہیں۔ یہ پیٹرن انٹرپٹیبل یا اسپاٹ صلاحیت کے لیے مثالی امیدوار ہے، کیونکہ اگر انسٹینس واپس لے لیا جائے تو آپ قطار کو دوبارہ شروع کر سکتے ہیں۔ جب آپ اوپر کی فہرست پڑھیں، تو پہلے فیصلہ کریں کہ آپ ان دونوں پیٹرنز میں سے کس میں ہیں، کیونکہ یہ بلنگ ماڈل اور دستیابی کے درجے کو منطقی طور پر بدل دیتا ہے۔

کیوں تھروپٹ اور یوزیج چوٹی کے FLOPs سے بہتر ہیں

کاغذ پر دو گنا طاقتور نظر آنے والا کارڈ آپ کے انفرنس بل کو شاذ و نادر ہی آدھا کر دیتا ہے۔ ڈیکوڈنگ میموری پر منحصر ہوتی ہے، اس لیے GPU کا اعلان شدہ چوٹی کمپیوٹ اکثر جنریشن کے دوران کم استعمال ہوتا ہے۔ آپ حقیقت میں جو ادا کرتے ہیں وہ حقیقی بیچ سائز اور کانٹیکسٹ لمبائی کے تحت فی سیکنڈ فی ڈالر مؤثر ٹوکنز ہوتے ہیں۔ جدید سروسنگ اسٹیکس مسلسل بیچنگ، پیجڈ KV کیشز، اور کوانٹائزیشن کے ذریعے بہت سی ضائع شدہ صلاحیت کو بحال کرتے ہیں۔ کرائے پر لیتے وقت عملی نتیجہ: ایک درمیانے درجے کا GPU جو ایک بہتر شدہ سرور چلا رہا ہو، ایک فلیگ شپ کارڈ کو جو غیر بہتر شدہ سرور چلا رہا ہو، شکست دے سکتا ہے، اور ایک چھوٹا، سستا کارڈ جو آپ کے ماڈل میں فٹ ہو، اکثر مستحکم ٹریفک کے لیے لاگت کا فاتح ہوتا ہے۔

پرووائیڈر کی خصوصیات جو خاص طور پر سروسنگ کے لیے اہم ہیں

انفرنس مسلسل چلتی ہے، اس لیے ارد گرد کے پلیٹ فارم کی خصوصیات ایک بار کی تربیتی ملازمت کے مقابلے میں زیادہ وزن رکھتی ہیں۔ اوپر دی گئی آپشنز کا موازنہ کرتے وقت ان پہلوؤں کو چیک کریں:

• بلنگ کی تفصیل: فی سیکنڈ یا فی منٹ بلنگ اچانک، صفر تک پیمانے کی سروسنگ کو انعام دیتی ہے؛ موٹی گھنٹہ وار بلنگ انڈپوائنٹس کو سزا دیتی ہے جو ٹریفک کے جھٹکوں کے درمیان بے کار بیٹھے ہوتے ہیں۔
• کولڈ-اسٹارٹ اور پروویژننگ کی رفتار: اگر آپ ڈیمانڈ کے ساتھ ریپلیکاز کو اوپر نیچے کرتے ہیں، تو نیا GPU انسٹینس کتنی تیزی سے تیار ہوتا ہے، یہ براہ راست صارف کی طرف لیٹنسی اور آپ کی آٹو اسکیلنگ کی صلاحیت کو متاثر کرتا ہے۔
• مستقل اسٹوریج اور امیج کیشنگ: ہر شروع پر بڑے ماڈل کے وزن کھینچنا سست ہوتا ہے اور کبھی کبھار میٹرڈ بھی ہوتا ہے۔ کیشڈ امیجز یا منسلک والیومز جو وزن رکھتے ہیں، کولڈ اسٹارٹس کو نمایاں طور پر کم کر دیتے ہیں۔
• ایگریس فیس: سروسنگ نتائج کو صارفین کو مسلسل بھیجتی ہے۔ فی گیگابائٹ ایگریس جو تربیت کے لیے نظر انداز کی جاتی ہے، وہ ہائی والیوم APIs کے لیے ایک حقیقی لائن آئٹم بن سکتی ہے۔
• آن-ڈیمانڈ ریلائیبلٹی بمقابلہ اسپاٹ پرائسنگ: ریئل ٹائم انڈپوائنٹس عام طور پر گارنٹی شدہ آن-ڈیمانڈ صلاحیت کی ضرورت رکھتے ہیں؛ بیچ جابز سستے انٹرپٹیبل انسٹینسز کا تعاقب کر سکتے ہیں۔
• آٹو اسکیلنگ اور سرورلیس آپشنز: ٹریفک کے جھٹکوں کے وقت صفر تک پیمانے کی صلاحیت اہم ہوتی ہے، تاکہ آپ رات بھر بے کار GPU کے لیے ادائیگی نہ کریں۔

انفرنس کے لیے اوپر دی گئی موازنہ کو کیسے پڑھیں

اس ترتیب میں کام کریں۔ پہلے، سب سے بڑے ماڈل کی نشاندہی کریں جسے آپ کو سروس کرنا ہے اور تصدیق کریں کہ کارڈ میں وزن اور KV کیش کے لیے کافی VRAM ہے آپ کی متوقع متوازی درخواستوں کے ساتھ۔ دوسرے، زیادہ میموری بینڈوڈتھ اور کم پریسیژن (FP8/INT8) سپورٹ کو ترجیح دیں تاکہ فی سیکنڈ فی ڈالر ٹوکنز زیادہ سے زیادہ ہوں۔ تیسرے، بلنگ اور دستیابی کے ماڈل کو اپنے پیٹرن کے مطابق ملائیں: زندہ انڈپوائنٹس کے لیے باریک بینی سے بلنگ کے ساتھ آن-ڈیمانڈ، آف لائن بیچ کام کے لیے انٹرپٹیبل صلاحیت۔ موجودہ نرخوں کے لیے لائیو ٹیبل استعمال کریں، کیونکہ فی گھنٹہ قیمت طلب اور قلت کے ساتھ بدلتی رہتی ہے اور پرووائیڈر کے لحاظ سے مختلف ہوتی ہے؛ پائیدار اصول یہ ہے کہ سب سے سستا کارڈ جو آپ کے ماڈل اور ٹریفک میں آرام دہ فٹ بیٹھتا ہے، تقریباً ہمیشہ جیتتا ہے، نہ کہ سب سے طاقتور دستیاب کارڈ۔

اکثر پوچھے جانے والے سوالات

انفرنس کے لیے ماڈل کو سروس کرنے کے لیے مجھے کتنی GPU میموری کی ضرورت ہے؟

ماڈل کے وزن کے ساتھ ساتھ کی-ویلیو کیش کے لیے منصوبہ بندی کریں۔ 16-بٹ میں، وزن کو تقریباً دو بائٹس فی پیرامیٹر کی ضرورت ہوتی ہے، اور 8-بٹ یا 4-بٹ کوانٹائزیشن اس کو نمایاں طور پر کم کر دیتی ہے۔ پھر KV کیش کے لیے اضافی جگہ شامل کریں، جو بیچ سائز اور کانٹیکسٹ کی لمبائی کے ساتھ بڑھتی ہے۔ اوپر کی فہرست کو VRAM کے لحاظ سے فلٹر کریں اور ایسا کارڈ منتخب کریں جو ماڈل کے لیے جگہ کے ساتھ فٹ ہو تاکہ متوازی درخواستوں کی وجہ سے میموری ختم نہ ہو۔

کیا سستا GPU انفرنس کے لیے کافی ہے، یا مجھے فلیگ شپ کارڈ کی ضرورت ہے؟

بہت سے سروسنگ ورک لوڈز کے لیے درمیانے درجے کا کارڈ بہتر قیمت ہے۔ ٹوکن جنریشن میموری بینڈوڈتھ پر منحصر ہوتی ہے نہ کہ چوٹی کمپیوٹ پر، اس لیے فلیگ شپ FLOPs اکثر کم استعمال ہوتے ہیں۔ اگر آپ کا ماڈل چھوٹے کارڈ کی VRAM میں فٹ ہوتا ہے اور ایک بہتر شدہ سروسنگ اسٹیک GPU کو مصروف رکھتا ہے، تو آپ عام طور پر سب سے مہنگے آپشن کرائے پر لینے سے بہتر فی ٹوکن لاگت حاصل کرتے ہیں۔

کیا مجھے انفرنس کے لیے اسپاٹ یا انٹرپٹیبل انسٹینسز استعمال کرنے چاہئیں؟

یہ پیٹرن پر منحصر ہے۔ آف لائن بیچ انفرنس مداخلت کو اچھی طرح برداشت کرتا ہے، کیونکہ آپ قطار کو دوبارہ شروع کر سکتے ہیں، جو سستے اسپاٹ صلاحیت کو پرکشش بناتا ہے۔ ریئل ٹائم، صارف-مخاطب انڈپوائنٹس عام طور پر گارنٹی شدہ آن-ڈیمانڈ صلاحیت کی ضرورت رکھتے ہیں، کیونکہ درخواست کے درمیان انسٹینس واپس لے لیا جانا ناکامیاں اور لیٹنسی کی ضمانتوں کو توڑ دیتا ہے۔

انفرنس بلنگ کو تربیت کی بلنگ سے کیا فرق بناتا ہے؟

تربیت ایک محدود، تھروپٹ پر منحصر کام ہے، جبکہ انفرنس مسلسل چلتی ہے اور اکثر ٹریفک کے جھٹکوں کے درمیان بے کار ہوتی ہے۔ اس سے فی سیکنڈ بلنگ، تیز پروویژننگ، صفر تک پیمانے کی صلاحیت، اور متوقع ایگریس لاگت سروسنگ کے لیے ایک بار کی تربیتی دوڑ کے مقابلے میں کہیں زیادہ اہم ہو جاتی ہیں۔ اوپر دی گئی موازنہ میں ان پلیٹ فارم خصوصیات کو خام گھنٹہ وار GPU کی شرح کے ساتھ تولیں۔