NVIDIA GH200 کے ساتھ بہترین کلاؤڈ GPU فراہم کنندگان

NVIDIA GH200 Grace Hopper Superchip حقیقت میں کیا ہے

GH200 ایک روایتی ایڈ-ان GPU کارڈ نہیں ہے۔ یہ ایک سپرچپ ہے جو NVIDIA کے Hopper نسل کے H100 کلاس GPU کو 72-کور Arm Neoverse پر مبنی Grace CPU کے ساتھ ایک ہی ماڈیول پر جوڑتا ہے، جسے NVLink-C2C کے ذریعے ملایا گیا ہے — ایک مربوط چپ سے چپ انٹرکنیکٹ جو CPU اور GPU کو ایک معیاری PCIe سلاٹ سے کہیں زیادہ بینڈوڈتھ پر جوڑتا ہے۔ جب آپ اوپر دی گئی موازنہ سے GH200 انسٹینس کرایہ پر لیتے ہیں، تو آپ پورے CPU+GPU پیکیج کو کرایہ پر لے رہے ہوتے ہیں، نہ کہ صرف ایک GPU جو آپ کسی اور کے ہوسٹ CPU پر لگاتے ہیں۔

یہ آرکیٹیکچر ہی اصل بات ہے۔ کیونکہ Grace CPU اور Hopper GPU NVLink-C2C کے ذریعے ایک مربوط میموری اسپیس شیئر کرتے ہیں، GPU CPU کی بڑی LPDDR5X میموری پول تک بغیر عام PCIe بوتل نیک کے رسائی حاصل کر سکتا ہے۔ ان ورک لوڈز کے لیے جہاں ماڈل یا ڈیٹا سیٹ GPU کی اپنی ہائی-بینڈوڈتھ میموری سے زیادہ ہو جاتا ہے، یہ ایک سنگل نوڈ پر چلانے کے لیے عملی حدود بدل دیتا ہے۔

جب آپ اسے کرایہ پر لیتے ہیں تو جو ہارڈویئر اہم ہوتا ہے

• GPU میموری: Hopper GPU سائیڈ میں اصل GH200 میں HBM3 اور زیادہ صلاحیت والے ورژن میں HBM3e شامل ہے۔ آپ کو تقریباً 96 GB HBM3 اور تقریباً 141 GB HBM3e فی سپرچپ کی تشہیر شدہ کنفیگریشنز نظر آئیں گی — اوپر دی گئی فہرست میں درست اعداد و شمار چیک کریں، کیونکہ میموری کی صلاحیت GH200 SKUs کے درمیان سب سے بڑا فرق ہے۔
• سسٹم میموری: Grace CPU ایک بڑی LPDDR5X بینک شامل کرتا ہے (عام طور پر تقریباً 480 GB)، جو GPU کے لیے مربوط طور پر قابل رسائی ہے۔ HBM کے ساتھ مل کر، ایک واحد GH200 بہت بڑا متحدہ ایڈریس اسپیس فراہم کرتا ہے — جو بڑے ایمبیڈنگز، KV کیشز، اور گراف یا ریکمنڈیشن ورک لوڈز کے لیے مفید ہے۔
• میموری بینڈوڈتھ: HBM3/HBM3e GPU کو سیکنڈ میں کئی ٹیرا بائٹس فراہم کرتا ہے، جبکہ NVLink-C2C CPU-GPU کے درمیان سیکڑوں GB/s کی مربوط بینڈوڈتھ فراہم کرتا ہے — جو تقریباً PCIe 5.0 x16 لنک سے ایک درجے زیادہ ہے۔
• کمپیوٹ اور پریسیژن: Hopper جزو کے طور پر، GPU میں چوتھی نسل کے ٹینسر کورز اور ٹرانسفارمر انجن شامل ہیں، جو FP8، BF16، FP16، TF32، INT8، اور FP64 کے لیے ہارڈویئر سپورٹ فراہم کرتے ہیں۔ خاص طور پر FP8 وہ خصوصیت ہے جو Hopper کو LLM ٹریننگ اور ہائی تھروپٹ انفیرنس دونوں کے لیے پرکشش بناتی ہے۔
• ملٹی-GPU اسکیلنگ: GH200 ماڈیولز کو NVLink کے ساتھ اور NVL32 طرز کے ریک ڈیزائنز میں NVLink سوئچ فیبرک کے ساتھ جوڑا جا سکتا ہے، تاکہ متعدد سپرچپ ایک بڑے ایکسیلیریٹر کی طرح کام کریں نہ کہ ایک ڈھیلے PCIe کلسٹر کی طرح۔
• پاور اور تھرمل کلاس: یہ صرف ڈیٹا سینٹر کے لیے ایک ہائی-TDP ماڈیول ہے (عام طور پر تقریباً 1000 واٹ تک کنفیگر کیا جا سکتا ہے جس میں CPU شامل ہے)۔ یہ ہوسٹ میں لیکوئڈ یا بھاری ہوا سے ٹھنڈا کیا جاتا ہے، اسی لیے دستیابی مخصوص ہوسٹس تک محدود ہے نہ کہ عام سرورز تک۔

وہ ورک لوڈز جن کے لیے GH200 واقعی مناسب ہے

GH200 اپنی جگہ اس وقت بناتا ہے جب مربوط CPU-GPU میموری اور HBM بینڈوڈتھ حقیقی کام کرتے ہیں:

• بڑے ماڈل اور طویل کانٹیکسٹ انفیرنس: بڑے KV کیشز اور بڑے ویٹس HBM کے ساتھ Grace کی LPDDR5X میں اسپیل اوور کے امتزاج سے فائدہ اٹھاتے ہیں، جس سے ایک واحد نوڈ ایسے ماڈلز کو سروس دے سکتا ہے جنہیں ورنہ کئی الگ الگ GPUs پر تقسیم کرنا پڑتا۔
• LLM فائن ٹیوننگ اور ٹریننگ: ٹرانسفارمر انجن کے ذریعے FP8 اور BF16 اسے ٹرانسفارمر ٹریننگ اور پیرامیٹر-موثر فائن ٹیوننگ کے لیے مضبوط بناتے ہیں، خاص طور پر جب ڈیٹا سیٹس یا آپٹیمائزر اسٹیٹس میموری کے لیے بھوکے ہوں۔
• ریکمنڈیشن، GNN، اور ویکٹر ورک لوڈز: جو کچھ بھی CPU اور GPU میموری کے درمیان بڑے ٹیبلز یا گرافز اسٹریم کرتا ہے، وہ براہ راست NVLink-C2C کی مربوطیت سے فائدہ اٹھاتا ہے۔
• HPC اور سائنسی کمپیوٹنگ: نیٹیو FP64 اور CPU-GPU کے قریبی تعلق سے وہ سیمولیشن اور ڈیٹا اینالٹکس پائپ لائنز کے لیے موزوں ہے جو اسکیلر CPU کام کو GPU کرنلز کے ساتھ ملاتی ہیں۔

یہ چھوٹے ماڈل کے تجربات کے لیے زیادہ ہے، کلاسیکی کمپیوٹر وژن فائن ٹیوننگ کے لیے جو آرام سے 24–48 GB میں فٹ ہو جائے، بیچ جابز کے لیے جو میموری-بینڈوڈتھ پر منحصر نہیں ہیں، اور زیادہ تر چھوٹے ماڈلز کے ریئل ٹائم انفیرنس کے لیے — وہاں ایک سستا Ada یا Ampere کارڈ زیادہ مؤثر ہوگا۔ GH200 گرافکس، گیمنگ، یا ورک سٹیشن رینڈرنگ کے لیے بھی مناسب نہیں ہے: اس میں کوئی ڈسپلے آؤٹ پٹ نہیں ہے اور یہ کمپیوٹ کے لیے بنایا گیا ہے، راسٹرائزیشن کے لیے نہیں۔

کرایہ کے سیاق و سباق: لاگت، دستیابی، اور موازنہ کیا کریں

GH200 کلاؤڈ-GPU لاگت کے اعلیٰ ترین درجے پر واقع ہے، H100 کلاس انسٹینسز کے برابر پریمیم ٹئیر میں، کیونکہ آپ HBM، ایک مربوط Grace CPU، اور ہائی-بینڈوڈتھ انٹرکنیکٹ کے لیے ادائیگی کر رہے ہیں۔ طلب کے مقابلے میں سپلائی واقعی کم ہے، اس لیے یہ عام کلاؤڈ کی بجائے AI-مرکوز اور ماہر ہوسٹس پر دستیاب ہوتا ہے، اور آن-ڈیمانڈ صلاحیت ختم ہو سکتی ہے۔ سپاٹ یا انٹرپٹیبل پرائسنگ کچھ جگہوں پر موجود ہے لیکن پرانی ایکسیلیریٹرز کے مقابلے میں کم عام اور کم گہری ہے۔ لائیو، فراہم کنندہ مخصوص نرخوں کے لیے، اوپر دی گئی موازنہ پر انحصار کریں نہ کہ کسی مقررہ عدد پر، کیونکہ قیمتیں بدلتی رہتی ہیں اور خطے اور معاہدے کی مدت کے حساب سے مختلف ہوتی ہیں۔

جب آپ جدول پڑھیں تو ان پہلوؤں کو وزن دیں:

• HBM کی صلاحیت (96 GB HBM3 بمقابلہ تقریباً 141 GB HBM3e) — یہ سب سے بڑا ماڈل جو آپ رکھ سکتے ہیں، طے کرتا ہے۔
• آن-ڈیمانڈ بمقابلہ ریزروڈ بمقابلہ سپاٹ دستیابی، اور کم از کم عزم۔
• انٹرکنیکٹ ٹاپولوجی ملٹی-نوڈ ٹریننگ کے لیے (NVLink فیبرک بمقابلہ نوڈز کے درمیان سادہ ایتھرنیٹ/انفینی بینڈ)۔
• اسٹوریج تھروپٹ اور ایگریس فیس، جو اکثر ڈیٹا بھاری ٹریننگ کی کل لاگت پر حاوی ہوتی ہیں۔
• بلنگ کی تفصیل (فی سیکنڈ بمقابلہ فی گھنٹہ) اگر آپ کے کام مختصر یا اچانک ہوں۔

اکثر پوچھے جانے والے سوالات

کیا GH200 H100 کے برابر ہے؟

نہیں بالکل نہیں۔ GH200 میں Hopper GPU شامل ہے جو H100 سے قریبی تعلق رکھتا ہے، لیکن یہ ایک سپرچپ کے طور پر آتا ہے جو 72-کور Grace Arm CPU اور NVLink-C2C مربوط انٹرکنیکٹ کے ساتھ ملایا گیا ہے۔ ایک اسٹینڈ الون H100 صرف GPU ہوتا ہے جو فراہم کنندہ کے فراہم کردہ کسی بھی x86 ہوسٹ کے ساتھ جوڑا جاتا ہے، اس لیے GH200 کا فائدہ CPU-GPU میموری پول کی مضبوط مربوطیت اور بڑی صلاحیت ہے۔

GH200 میں کتنی میموری ہوتی ہے؟

یہ ورژن پر منحصر ہے۔ GPU سائیڈ میں تقریباً 96 GB HBM3 یا تقریباً 141 GB HBM3e ہوتی ہے، اور Grace CPU ایک بڑی LPDDR5X بینک شامل کرتا ہے (عام طور پر تقریباً 480 GB) جسے GPU مربوط طور پر رسائی حاصل کر سکتا ہے۔ اوپر دی گئی فہرست میں درست HBM کی مقدار کی تصدیق کریں، کیونکہ یہ SKU کے لحاظ سے مختلف ہوتی ہے اور ماڈل کے سائز کی حد طے کرتی ہے۔

GH200 AI کے لیے کون سی پریسیژنز سپورٹ کرتا ہے؟

Hopper جزو ہونے کے ناطے، یہ FP8، BF16، FP16، TF32، INT8، اور FP64 کو چوتھی نسل کے ٹینسر کورز اور ٹرانسفارمر انجن کے ذریعے سپورٹ کرتا ہے۔ FP8 بڑی ماڈلز کی مؤثر ٹریننگ اور ہائی تھروپٹ انفیرنس کے لیے نمایاں خصوصیت ہے۔

GH200 کرایہ پر لینا کب فائدہ مند نہیں ہوتا؟

اگر آپ کا ماڈل آرام سے 24–48 GB میں فٹ ہو جاتا ہے، آپ کا ورک لوڈ میموری-بینڈوڈتھ پر منحصر نہیں ہے، یا آپ کو صرف چھوٹے ماڈلز کا ریئل ٹائم انفیرنس چاہیے، تو ایک سستا Ada یا Ampere انسٹینس بہتر قیمت فراہم کرے گا۔ GH200 خاص طور پر اس وقت فائدہ مند ہے جب بڑی میموری، HBM بینڈوڈتھ، یا مربوط CPU-GPU ڈیٹا کی منتقلی رکاوٹ ہو۔