NVIDIA GH200 সহ সেরা ক্লাউড GPU প্রদানকারী

NVIDIA GH200 গ্রেস হপার সুপারচিপ আসলে কী

GH200 একটি প্রচলিত অ্যাড-ইন GPU কার্ড নয়। এটি একটি সুপারচিপ যা NVIDIA হপার-জেনারেশন H100-শ্রেণীর GPU এবং ৭২-কোর আর্ম নিওভার্স-ভিত্তিক গ্রেস CPU কে একটি একক মডিউলে একত্রিত করে, যা NVLink-C2C দ্বারা যুক্ত — একটি সঙ্গতিপূর্ণ চিপ-টু-চিপ ইন্টারকানেক্ট যা CPU এবং GPU কে একটি সাধারণ PCIe স্লটের চেয়ে অনেক বেশি ব্যান্ডউইথে সংযুক্ত করে। উপরের তুলনা থেকে যখন আপনি একটি GH200 ইনস্ট্যান্স ভাড়া নেন, তখন আপনি শুধুমাত্র GPU নয়, পুরো CPU+GPU প্যাকেজটি ভাড়া নিচ্ছেন, যা অন্য কারো হোস্ট CPU এর সাথে সংযুক্ত করা হয় না।

এই আর্কিটেকচারই মূল বিষয়। কারণ গ্রেস CPU এবং হপার GPU NVLink-C2C এর মাধ্যমে একটি সঙ্গতিপূর্ণ মেমরি স্পেস শেয়ার করে, GPU CPU এর বড় LPDDR5X মেমরি পুলে পৌঁছাতে পারে সাধারণ PCIe বটলনেক ছাড়াই। যেখানে একটি মডেল বা ডেটাসেট GPU এর নিজস্ব উচ্চ ব্যান্ডউইথ মেমরির বাইরে চলে যায়, সেখানে এটি একক নোডে চালানোর জন্য যা সম্ভব তা পরিবর্তন করে।

যখন আপনি এটি ভাড়া নেন তখন গুরুত্বপূর্ণ হার্ডওয়্যার

• GPU মেমরি: হপার GPU সাইডে মূল GH200 তে HBM3 এবং উচ্চ ক্ষমতার ভেরিয়েন্টে HBM3e থাকে। আপনি সুপারচিপ প্রতি প্রায় ৯৬ GB HBM3 এবং প্রায় ১৪১ GB HBM3e কনফিগারেশন বিজ্ঞাপিত দেখতে পাবেন — উপরের তালিকায় সঠিক পরিমাণ পরীক্ষা করুন, কারণ মেমরি ক্ষমতা GH200 SKU গুলোর মধ্যে সবচেয়ে বড় পার্থক্য।
• সিস্টেম মেমরি: গ্রেস CPU একটি বড় LPDDR5X ব্যাংক যোগ করে (সাধারণত প্রায় ৪৮০ GB উল্লেখ করা হয়), যা GPU দ্বারা সঙ্গতিপূর্ণভাবে অ্যাক্সেসযোগ্য। HBM এর সাথে মিলিয়ে, একটি একক GH200 একটি খুব বড় এককীকৃত অ্যাড্রেস স্পেস উন্মোচন করে — বড় এম্বেডিং, KV ক্যাশ এবং গ্রাফ বা রিকমেন্ডেশন ওয়ার্কলোডের জন্য উপযোগী।
• মেমরি ব্যান্ডউইথ: HBM3/HBM3e GPU কে প্রতি সেকেন্ডে একাধিক টেরাবাইট ডেলিভারি করে, আর NVLink-C2C শত শত GB/s সঙ্গতিপূর্ণ CPU-GPU ব্যান্ডউইথ প্রদান করে — যা প্রায় PCIe 5.0 x16 লিঙ্কের থেকে এক অর্ডার বড়।
• কম্পিউট এবং প্রিসিশন: হপার অংশ হিসেবে, GPU তে চতুর্থ-প্রজন্মের টেনসর কোর এবং ট্রান্সফর্মার ইঞ্জিন রয়েছে, যা FP8, BF16, FP16, TF32, INT8, এবং FP64 এর হার্ডওয়্যার সাপোর্ট দেয়। বিশেষ করে FP8 হপারকে LLM ট্রেনিং এবং উচ্চ-থ্রুপুট ইনফারেন্সের জন্য আকর্ষণীয় করে তোলে।
• মাল্টি-GPU স্কেলিং: GH200 মডিউলগুলো NVLink এবং NVL32-স্টাইল র্যাক ডিজাইনে NVLink সুইচ ফ্যাব্রিক দিয়ে সংযুক্ত করা যায়, ফলে একাধিক সুপারচিপ একটি বড় অ্যাক্সিলারেটরের মতো আচরণ করে, বিচ্ছিন্ন PCIe ক্লাস্টারের চেয়ে।
• পাওয়ার এবং তাপমাত্রা ক্লাস: এটি শুধুমাত্র ডেটা-সেন্টার ব্যবহারের জন্য উচ্চ-TDP মডিউল (সাধারণত CPU সহ প্রায় ১০০০ ওয়াট পর্যন্ত কনফিগারযোগ্য)। এটি হোস্টে তরল বা ভারী বায়ু-কুলিং পায়, যার কারণে এটি সাধারণ সার্ভারের পরিবর্তে বিশেষায়িত হোস্টের সাথে উপলব্ধ।

GH200 যে ওয়ার্কলোডগুলোর জন্য সত্যিই উপযুক্ত

GH200 তার স্থান অর্জন করে যেখানে সঙ্গতিপূর্ণ CPU-GPU মেমরি এবং HBM ব্যান্ডউইথ প্রকৃত কাজ করে:

• বড় মডেল এবং দীর্ঘ-কনটেক্সট ইনফারেন্স: বড় KV ক্যাশ এবং বড় ওজন HBM এবং গ্রেসের LPDDR5X স্পিলওভারের সংমিশ্রণে উপকৃত হয়, যা একক নোডকে এমন মডেল সার্ভ করতে দেয় যা সাধারণত একাধিক পৃথক GPU তে শার্ডিং প্রয়োজন।
• LLM ফাইন-টিউনিং এবং ট্রেনিং: ট্রান্সফর্মার ইঞ্জিনের মাধ্যমে FP8 এবং BF16 এটিকে ট্রান্সফর্মার ট্রেনিং এবং প্যারামিটার-দক্ষ ফাইন-টিউনিং এর জন্য শক্তিশালী করে তোলে, বিশেষ করে যখন ডেটাসেট বা অপটিমাইজার স্টেট মেমরি-খাদ্য।
• রিকমেন্ডেশন, GNN, এবং ভেক্টর ওয়ার্কলোড: CPU এবং GPU মেমরির মধ্যে বড় টেবিল বা গ্রাফ স্ট্রিমিং যেকোনো কিছু NVLink-C2C সঙ্গতিপূর্ণতা থেকে সরাসরি উপকৃত হয়।
• HPC এবং বৈজ্ঞানিক কম্পিউটিং: নেটিভ FP64 এবং CPU-GPU এর ঘনিষ্ঠ সংযোগ সিমুলেশন এবং ডেটা-অ্যানালিটিক্স পাইপলাইনের জন্য উপযুক্ত, যা স্কেলার CPU কাজ এবং GPU কার্নেল মিশ্রিত করে।

এটি ছোট মডেল পরীক্ষার জন্য অতিরিক্ত, ২৪–৪৮ GB এর মধ্যে আরামদায়ক ফিট হওয়া ক্লাসিক কম্পিউটার-ভিশন ফাইন-টিউনিং, মেমরি-বাধাহীন ব্যাচ কাজ এবং ছোট মডেলের বেশিরভাগ রিয়েল-টাইম ইনফারেন্সের জন্য নয় — সেখানে বিস্তৃত ক্যাটালগের সস্তা Ada বা Ampere কার্ড বেশি কার্যকর হবে। GH200 গ্রাফিক্স, গেমিং বা ওয়ার্কস্টেশন রেন্ডারিং এর জন্যও খারাপ ফিট: এতে কোনো ডিসপ্লে আউটপুট নেই এবং এটি কম্পিউটের জন্য তৈরি, র‍্যাস্টারাইজেশনের জন্য নয়।

ভাড়া প্রসঙ্গ: খরচ, উপলব্ধতা, এবং কী তুলনা করবেন

GH200 ক্লাউড-GPU খরচের শীর্ষে অবস্থিত, H100-শ্রেণীর ইনস্ট্যান্সের সমান প্রিমিয়াম স্তরে, কারণ আপনি HBM, একটি যুক্ত গ্রেস CPU, এবং উচ্চ ব্যান্ডউইথ ইন্টারকানেক্টের জন্য অর্থ প্রদান করছেন। চাহিদার তুলনায় সরবরাহ সত্যিই কম, তাই এটি সাধারণ উদ্দেশ্যের ক্লাউডের পরিবর্তে AI-কেন্দ্রিক এবং বিশেষায়িত হোস্টে বেশি দেখা যায়, এবং অন-ডিমান্ড ক্যাপাসিটি বিক্রি হয়ে যেতে পারে। স্পট বা ইন্টারাপ্টেবল মূল্যায়ন কিছু জায়গায় পাওয়া যায় কিন্তু পুরনো অ্যাক্সিলারেটরের তুলনায় কম সাধারণ এবং কম গভীর। লাইভ, প্রদানকারী-নির্দিষ্ট রেটের জন্য উপরের তুলনার উপর নির্ভর করুন, কারণ মূল্য পরিবর্তিত হয় এবং অঞ্চল ও চুক্তির মেয়াদ অনুযায়ী ভিন্ন হয়।

আপনি যখন টেবিল পড়বেন, এই দিকগুলো বিবেচনা করুন:

• HBM ক্ষমতা (৯৬ GB HBM3 বনাম ~১৪১ GB HBM3e) — এটি নির্ধারণ করে আপনি সবচেয়ে বড় মডেল কতটুকু ধরে রাখতে পারবেন।
• অন-ডিমান্ড বনাম রিজার্ভড বনাম স্পট উপলব্ধতা, এবং ন্যূনতম কমিটমেন্ট।
• ইন্টারকানেক্ট টপোলজি মাল্টি-নোড ট্রেনিংয়ের জন্য (NVLink ফ্যাব্রিক বনাম সাধারণ ইথারনেট/ইনফিনিব্যান্ড নোডের মধ্যে)।
• স্টোরেজ থ্রুপুট এবং এক্সিগ্রেস ফি, যা প্রায়শই ডেটা-ভারী ট্রেনিংয়ের মোট খরচে প্রাধান্য পায়।
• বিলিং গ্রানুলারিটি (প্রতি সেকেন্ড বনাম প্রতি ঘণ্টা) যদি আপনার কাজগুলো সংক্ষিপ্ত বা বিস্ফোরণমূলক হয়।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

GH200 কি H100 এর সমান?

সম্পূর্ণ নয়। GH200 তে H100 এর সাথে ঘনিষ্ঠ সম্পর্কযুক্ত একটি হপার GPU রয়েছে, কিন্তু এটি একটি সুপারচিপ হিসেবে ৭২-কোর গ্রেস আর্ম CPU এবং NVLink-C2C সঙ্গতিপূর্ণ ইন্টারকানেক্ট সহ পাঠানো হয়। একটি স্বতন্ত্র H100 শুধু GPU, যা প্রদানকারী যে কোনো x86 হোস্টের সাথে জোড়া দেয়, তাই GH200 এর সুবিধা হল ঘনিষ্ঠভাবে যুক্ত, বড় সঙ্গতিপূর্ণ CPU-GPU মেমরি পুল।

GH200 এর কত মেমরি আছে?

এটি ভেরিয়েন্টের উপর নির্ভর করে। GPU সাইডে প্রায় ৯৬ GB HBM3 বা প্রায় ১৪১ GB HBM3e থাকে, এবং গ্রেস CPU একটি বড় LPDDR5X ব্যাংক যোগ করে (সাধারণত প্রায় ৪৮০ GB উল্লেখ করা হয়) যা GPU সঙ্গতিপূর্ণভাবে অ্যাক্সেস করতে পারে। উপরের তালিকায় সঠিক HBM পরিমাণ নিশ্চিত করুন, কারণ এটি SKU অনুযায়ী পরিবর্তিত হয় এবং মডেল আকার সীমাবদ্ধ করে।

GH200 AI এর জন্য কোন প্রিসিশন সমর্থন করে?

হপার অংশ হিসেবে, এটি চতুর্থ-প্রজন্মের টেনসর কোর এবং ট্রান্সফর্মার ইঞ্জিনের মাধ্যমে FP8, BF16, FP16, TF32, INT8, এবং FP64 সমর্থন করে। FP8 বড় মডেল ট্রেনিং এবং উচ্চ-থ্রুপুট ইনফারেন্সের জন্য প্রধান বৈশিষ্ট্য।

কখন GH200 ভাড়া নেওয়া মূল্যবান নয়?

যদি আপনার মডেল ২৪–৪৮ GB এর মধ্যে আরামদায়ক ফিট হয়, আপনার ওয়ার্কলোড মেমরি-ব্যান্ডউইথ সীমাবদ্ধ না হয়, বা আপনি শুধুমাত্র ছোট মডেলের রিয়েল-টাইম ইনফারেন্স চান, তাহলে সস্তা Ada বা Ampere ইনস্ট্যান্স বেশি মূল্যবান হবে। GH200 বিশেষ করে তখনই লাভজনক যখন বড় মেমরি, HBM ব্যান্ডউইথ, বা সঙ্গতিপূর্ণ CPU-GPU ডেটা চলাচল বটলনেক হয়।