NVLink یا InfiniBand کے ساتھ کلاؤڈ GPU فراہم کنندگان

جب آپ ملٹی-جی پی یو کمپیوٹ کرائے پر لیتے ہیں تو NVLink اور InfiniBand حقیقت میں کیا کرتے ہیں

NVLink اور InfiniBand ایک ہی بنیادی مسئلہ کو مشین کے دو مختلف پہلوؤں سے حل کرتے ہیں: GPUs کے درمیان ڈیٹا اتنی تیزی سے منتقل کرنا کہ ایکسلریٹرز انتظار کرنے کے بجائے کمپیوٹنگ میں مصروف رہیں۔ اوپر دیا گیا فلٹر ان کلاؤڈ انسٹینسز کو محدود کرتا ہے جو ان دونوں انٹرکنیکٹس میں سے ایک یا دونوں کو ظاہر کرتے ہیں۔ یہ ایک دوسرے کے متبادل نہیں ہیں — ایک انٹرا-نوڈ فبریکن ہے جو ایک ہی سرور کے اندر GPUs کو جوڑتا ہے، اور دوسرا انٹر-نوڈ فبریکن ہے جو سرورز کو کلسٹر میں جوڑتا ہے۔ کسی بھی ورک لوڈ کے لیے جو ایک سے زیادہ GPU پر محیط ہو، انٹرکنیکٹ اکثر قریب-لینیئر اسکیلنگ اور ایسی ترتیب کے درمیان فرق ہوتا ہے جہاں GPUs کا اضافہ تقریباً مدد نہیں کرتا۔

NVLink: ایک باکس کے اندر GPUs کے درمیان تیز رفتار راستہ

NVLink NVIDIA کا براہ راست GPU سے GPU لنک ہے۔ میزبان PCIe بس اور CPU کے ذریعے ٹریفک کو روٹ کرنے کے بجائے، NVLink GPUs کو ایک دوسرے سے جوڑتا ہے (اور کچھ پلیٹ فارمز پر NVSwitch کراس بار کے ذریعے) تاکہ نوڈ میں ہر GPU دوسرے ہر GPU سے اعلی بینڈوڈتھ اور کم لیٹینسی کے ساتھ بات کر سکے۔ جب آپ NVLink سے لیس انسٹینس کرائے پر لیتے ہیں تو عملی نتیجہ یہ ہوتا ہے:

• PCIe-صرف نوڈز کے مقابلے میں GPU سے GPU بینڈوڈتھ بہت زیادہ ہوتی ہے، جو ہر قدم پر گریڈینٹس، ایکٹیویشنز، یا ماڈل شاردز کے تبادلے کے وقت اہمیت رکھتی ہے۔
• GPU کے درمیان مشترکہ میموری عملی طور پر — ایک ماڈل جو ایک GPU کی VRAM کے لیے بہت بڑا ہو، اسے NVLink ڈومین میں تقسیم کیا جا سکتا ہے جہاں کراس-GPU ٹریفک تیز فبریکن پر رہتی ہے بجائے PCIe کے ذریعے رینگنے کے۔
• کم ہم آہنگی کا اوور ہیڈ اجتماعی آپریشنز جیسے کہ آل-ریڈیوس کے لیے، جو ڈیٹا-پیرالل ٹریننگ پر غالب ہوتے ہیں۔

NVLink ایک واحد نوڈ کے اندر رہتا ہے، اس لیے اس کا دائرہ عام طور پر سرور کے ڈیزائن کے مطابق 2، 4، یا 8 GPUs ہوتا ہے۔ اگر اوپر دی گئی فہرست میں کوئی فراہم کنندہ “NVLink کے ساتھ 8-GPU نوڈ” کا اعلان کرتا ہے، تو اس کا مطلب ہے کہ وہ آٹھ کارڈز سختی سے جڑے ہوئے ہیں۔ یہ خود میں کچھ نہیں بتاتا کہ وہ نوڈ دوسرے نوڈز سے کیسے جڑتا ہے۔

InfiniBand: وہ فبریکن جو کئی سرورز کو ایک کلسٹر میں بدل دیتا ہے

InfiniBand ایک نیٹ ورکنگ ٹیکنالوجی ہے جو الگ الگ GPU سرورز کو جوڑنے کے لیے استعمال ہوتی ہے۔ جب ٹریننگ جابز ایک نوڈ سے بڑھ جاتی ہیں، تو رکاوٹ باکس کے اندر سے باکسز کے درمیان منتقل ہو جاتی ہے، اور عام ایتھرنیٹ نیٹ ورکنگ GPUs کو روک سکتی ہے۔ InfiniBand اس مسئلے کو بہت زیادہ فی-لنک تھروپٹ، کم اور متوقع لیٹینسی، اور RDMA (ریموٹ ڈائریکٹ میموری ایکسیس) کے ذریعے حل کرتا ہے، جو ایک سرور کو دوسرے سرور کی میموری کو CPU کی مداخلت کے بغیر پڑھنے یا لکھنے دیتا ہے۔ GPUDirect RDMA کے ساتھ مل کر، ڈیٹا GPUs کے درمیان نوڈز کے پار منتقل ہو سکتا ہے جبکہ میزبان میموری کی نقول کو بڑی حد تک نظر انداز کیا جاتا ہے۔

کثیر نوڈ ٹریننگ کے لیے، یہی وہ چیز ہے جو اسکیلنگ کو مؤثر بناتی ہے۔ اس کی وجہ یہ ہے کہ درجنوں یا سینکڑوں GPUs کے کلسٹر ایک بڑے ماڈل کو معقول وقت میں ٹرین کر سکتا ہے کیونکہ انٹر-نوڈ فبریکن الگورتھم کی اجتماعی مواصلات کی طلب کو پورا کرتا ہے۔ عام نیٹ ورکنگ پر آ کر وہی کام اپنے زیادہ تر وقت کو نیٹ ورک کے انتظار میں گزار سکتا ہے۔

کون سے ورک لوڈز کو واقعی اس کی ضرورت ہوتی ہے

NVLink یا InfiniBand کے لیے فلٹر کرنا اس وقت معنی رکھتا ہے جب مواصلات، صرف خام کمپیوٹ نہیں، تنقیدی راستے پر ہوں:

• بڑے ماڈل کی ٹریننگ اور فائن ٹیوننگ جو پیرامیٹرز، آپٹیمائزر اسٹیٹ، یا پرتوں کو GPUs کے درمیان تقسیم کرتے ہیں (ٹینسر، پائپ لائن، یا مکمل شاردڈ ڈیٹا پیراللزم) — یہ اسکیمیں مستقل کراس-GPU ٹریفک پیدا کرتی ہیں اور نوڈ کے اندر NVLink اور نوڈز کے درمیان InfiniBand سے سب سے زیادہ فائدہ اٹھاتی ہیں۔
• کثیر نوڈ تقسیم شدہ ٹریننگ جہاں کام ایک سرور میں فٹ نہیں ہوتا — یہاں InfiniBand اسکیلنگ کی مؤثریت کا فیصلہ کن عنصر ہے۔
• HPC اور سائنسی سمولیشن جس میں سخت انٹر-پروسیس مواصلات ہوتی ہے، جو برسوں سے InfiniBand اور RDMA پر انحصار کرتی ہے۔
• بڑے کانٹیکسٹ یا بڑے ماڈل کی انفرنس جو ایک ماڈل کو متعدد GPUs پر تقسیم کرتی ہے، جہاں NVLink کراس-GPU توجہ اور وزن تک رسائی کی لیٹینسی کو کم کرتا ہے۔

یہ واقعی سنگل-GPU کام کے لیے ضرورت سے زیادہ ہے۔ ایک چھوٹے ماڈل کی فائن ٹیوننگ، ایک کارڈ پر فٹ ہونے والی بیچ انفرنس، زیادہ تر رینڈرنگ جابز، اور تجربات سب اکیلے GPU پر بخوبی چلتے ہیں۔ اگر آپ کا کام کبھی GPU کی حد کو عبور نہیں کرتا تو سختی سے جڑے نوڈ یا InfiniBand کلسٹر کے لیے اضافی قیمت دینا کوئی فائدہ نہیں لاتا۔

کرائے پر لینے سے پہلے کیا چیک کریں

یہ دونوں انٹرکنیکٹس اکثر مارکیٹنگ کاپی میں الجھ جاتے ہیں، اس لیے اوپر دی گئی موازنہ کے خلاف تفصیلات کی تصدیق کریں:

• دائرہ کار — تصدیق کریں کہ لسٹنگ کا مطلب NVLink (نوڈ کے اندر GPU جوڑ) ہے یا InfiniBand (نوڈز کے درمیان نیٹ ورکنگ)۔ ایک واحد نوڈ انسٹینس میں NVLink ہو سکتا ہے اور بالکل بھی InfiniBand نہ ہو۔
• ٹوپولوجی اور چوڑائی — کتنے GPUs NVLink ڈومین شیئر کرتے ہیں (مکمل NVSwitch آل-ٹو-آل بمقابلہ جزوی پل)، اور InfiniBand لنک ریٹ اور آیا RDMA/GPUDirect فعال ہے یا نہیں۔
• نسل — نئے GPU جنریشنز میں زیادہ بینڈوڈتھ NVLink ہوتا ہے؛ صرف “NVLink” لیبل آپ کو رفتار نہیں بتاتا۔
• کثیر نوڈ دستیابی — کیا آپ واقعی متعدد جڑے ہوئے نوڈز محفوظ کر سکتے ہیں، اور کیا وہ ایک ہی فبریکن میں آتے ہیں بجائے ڈیٹا سینٹر میں بکھرے ہوئے۔
• سافٹ ویئر سپورٹ — کہ NCCL، MPI، اور آپ کا فریم ورک فبریکن کو دیکھتے اور استعمال کرتے ہیں؛ غلط ترتیب خاموشی سے سست راستوں پر واپس چلی جاتی ہے۔

قیمت اور دستیابی پر، انٹرکنیکٹ سے بھرپور انسٹینسز عام طور پر اسپیکٹرم کے اعلیٰ حصے پر ہوتے ہیں۔ NVLink سے لیس ملٹی-GPU نوڈز اور InfiniBand سے جڑے کلسٹرز پریمیم ہارڈویئر استعمال کرتے ہیں اور مسلسل طلب میں ہوتے ہیں، اس لیے آن-ڈیمانڈ صلاحیت کم ہوتی ہے اور اسپوٹ یا انٹرپٹیبل آپشنز سنگل کموڈیٹی GPUs کے مقابلے میں کم دستیاب ہوتے ہیں۔ خاص طور پر کثیر نوڈ InfiniBand الاٹمنٹس اکثر محدود، محفوظ، یا بڑے بلاکس میں فروخت ہوتے ہیں۔ اوپر دی گئی قیمتوں کو لائیو حوالہ سمجھیں، کیونکہ نرخ فراہم کنندہ کے حساب سے مختلف اور بدلتے رہتے ہیں۔

اکثر پوچھے جانے والے سوالات

کیا مجھے دونوں NVLink اور InfiniBand کی ضرورت ہے؟

یہ اسکیل پر منحصر ہے۔ ایک واحد نوڈ ملٹی-GPU جاب کو صرف NVLink کی ضرورت ہوتی ہے۔ جیسے ہی آپ کی ٹریننگ متعدد سرورز تک پھیلتی ہے، آپ کو ان نوڈز کو جوڑنے کے لیے InfiniBand بھی چاہیے — دونوں مختلف پرتوں پر کام کرتے ہیں، اس لیے ایک بڑا کلسٹر عام طور پر ہر باکس کے اندر NVLink اور باکسز کے درمیان InfiniBand پر انحصار کرتا ہے۔

کیا میرا سنگل-GPU ورک لوڈ NVLink یا InfiniBand انسٹینس پر تیز چلے گا؟

نہیں۔ دونوں انٹرکنیکٹس صرف اس وقت اہم ہوتے ہیں جب ڈیٹا GPUs یا نوڈز کے درمیان منتقل ہوتا ہے۔ ایک ایسا ورک لوڈ جو ایک GPU پر فٹ آتا ہے وہ کبھی بھی ان فبریکنز کو نہیں چھوتا، اس لیے آپ ایسی صلاحیت کے لیے اضافی قیمت ادا کریں گے جسے آپ استعمال نہیں کر سکتے۔ صرف اس وقت فلٹر کریں جب آپ ایک GPU سے زیادہ اسکیل کر رہے ہوں۔

بڑے ٹریننگ جابز کے لیے انٹرکنیکٹ پر فی-GPU خصوصیات سے زیادہ کیوں توجہ دی جاتی ہے؟

تقسیم شدہ ٹریننگ ہر قدم کا بڑا حصہ گریڈینٹس اور ایکٹیویشنز کے تبادلے میں صرف کرتی ہے۔ اگر فبریکن رفتار برقرار نہیں رکھ پاتا، تو GPUs ہم آہنگی کے انتظار میں سست ہو جاتے ہیں، اور GPUs کا اضافہ کم فائدہ دیتا ہے۔ ایک تیز انٹرکنیکٹ وہ چیز ہے جو آپ کے ایکسلریٹرز کے اضافہ کے ساتھ قریب-لینیئر اسکیلنگ کو برقرار رکھتی ہے۔

کیا NVLink ہر ملٹی-GPU انسٹینس پر دستیاب ہے؟

نہیں۔ کچھ ملٹی-GPU نوڈز اپنے کارڈز کو صرف PCIe کے ذریعے جوڑتے ہیں، جس کی GPU سے GPU بینڈوڈتھ بہت کم ہوتی ہے۔ متعدد GPUs کی موجودگی NVLink کی ضمانت نہیں دیتی، اس لیے اوپر دی گئی موازنہ میں انٹرکنیکٹ کی واضح تصدیق کریں بجائے اس کے کہ GPU کی تعداد سے فرض کریں۔