NVIDIA B200 সহ সেরা ক্লাউড GPU প্রদানকারী

NVIDIA B200 আসলে কী

NVIDIA B200 একটি ডেটা-সেন্টার অ্যাক্সেলেটর যা Blackwell আর্কিটেকচারের উপর নির্মিত, যা Hopper (H100 এবং H200) এর পরবর্তী প্রজন্ম। এটি বিশেষভাবে বড় স্কেলের AI ট্রেনিং এবং উচ্চ-থ্রুপুট ইনফারেন্সের জন্য ডিজাইন করা হয়েছে, গ্রাফিক্সের জন্য নয়, তাই যখন আপনি এটি একটি ক্লাউড প্রদানকারীর কাছ থেকে ভাড়া নেন, তখন আপনি ঘন্টাভিত্তিক ভাড়ার জন্য বর্তমানে প্রস্তাবিত AI কম্পিউটের সর্বোচ্চ স্তরের একটি জন্য অর্থ প্রদান করছেন। একটি কনজিউমার কার্ডের মতো নয়, B200 একটি ডুয়াল-ডাই ডিজাইন ব্যবহার করে যেখানে দুটি কম্পিউট ডাই সফটওয়্যারের কাছে একটি একক GPU হিসেবে উপস্থাপিত হয়, যা এর মেমরি এবং কম্পিউট ফিগারগুলি আগের প্রজন্মের তুলনায় অনেক উপরে বসে থাকার একটি কারণ।

ভাড়াটেদের জন্য প্রধান বৈশিষ্ট্য হল মেমরি। B200 HBM3e মেমরি বহন করে, যার প্রতি GPU এর খুব বড় ক্ষমতা এবং অত্যন্ত উচ্চ মেমরি ব্যান্ডউইথ রয়েছে, যা Hopper-শ্রেণীর অংশগুলি অফার করেছিল তার চেয়ে অনেক বেশি। GPU ভাড়া নেওয়া লোকদের জন্য, এটি অনেক বাস্তব কাজের ক্ষেত্রে কাঁচা FLOPS এর চেয়ে বেশি গুরুত্বপূর্ণ: অন-প্যাকেজ মেমরি বেশি মানে বড় মডেল, দীর্ঘ কনটেক্সট উইন্ডো এবং বড় ব্যাচ সাইজ একটি একক ডিভাইসে ফিট হয় যতক্ষণ না আপনাকে একাধিক GPU তে শার্ড করতে হয়, এবং উচ্চ ব্যান্ডউইথ টেনসর কোরগুলিকে ইনফারেন্স ডিকোডের মতো মেমরি-সীমাবদ্ধ কাজের সময় খাওয়াতে সাহায্য করে।

কম্পিউট, প্রিসিশন এবং ইন্টারকানেক্ট

Blackwell টেনসর-কোর লাইনেজকে বিস্তৃত নিম্ন-প্রিসিশন সমর্থনের মাধ্যমে বাড়ায়, যা B200 কে আধুনিক মডেল কাজের জন্য সত্যিই আকর্ষণীয় করে তোলে:

• FP8 সমর্থন Hopper থেকে বহন করা হয়েছে, পাশাপাশি Blackwell এর সাথে পরিচিত নতুন নিম্ন-প্রিসিশন মাইক্রোস্কেলিং ফরম্যাট (সাধারণত FP4/FP6 নামে পরিচিত), যা আগ্রাসী কোয়ান্টাইজেশন সহ্য করতে পারে এমন মডেলগুলির জন্য ইনফারেন্স থ্রুপুট নাটকীয়ভাবে বাড়াতে পারে।
• BF16 এবং FP16 স্থিতিশীল মিশ্র-প্রিসিশন ট্রেনিং এর জন্য, দ্বিতীয় প্রজন্মের Transformer Engine স্বয়ংক্রিয়ভাবে স্তরগুলির মধ্যে প্রিসিশন পরিচালনা করে।
• INT8 কোয়ান্টাইজড ইনফারেন্সের জন্য যেখানে সার্ভিং স্ট্যাক দ্বারা সমর্থিত।

ইন্টারকানেক্টে, B200 সর্বশেষ প্রজন্মের NVLink ব্যবহার করে, যা একটি নোডের ভিতরে GPU থেকে GPU তে খুব উচ্চ ব্যান্ডউইথ প্রদান করে। এটি সেই বৈশিষ্ট্য যা ভাড়া নেওয়া মাল্টি-GPU B200 ইনস্ট্যান্সকে কেবল PCIe কার্ড স্ট্যাক করার থেকে আলাদা করে: যখন আপনি এমন একটি মডেল ট্রেন বা সার্ভ করেন যা এক GPU এর মেমরিতে ফিট করে না, NVLink GPU গুলিকে দ্রুত অ্যাক্টিভেশন এবং গ্রেডিয়েন্ট বিনিময় করতে দেয় যাতে স্কেলিং কার্যকর থাকে। সবচেয়ে ঘন রূপে কার্ডগুলি একটি 8-GPU সার্ভারে (DGX/HGX B200 বোর্ড) পাঠানো হয় যেখানে আটটি GPU সম্পূর্ণ NVLink-সংযুক্ত। ইনস্ট্যান্সগুলি তুলনা করার সময়, যাচাই করুন যে একটি মাল্টি-GPU অফার সত্যিই NVLink-সংযুক্ত কিনা বা শুধুমাত্র একাধিক PCIe কার্ড, কারণ এই একক বিবরণ মাল্টি-GPU ট্রেনিং পারফরম্যান্সকে ব্যাপকভাবে পরিবর্তন করে।

এই সবের বিনিময় হল পাওয়ার এবং থার্মাল। B200 একটি খুব উচ্চ-TDP অংশ যা ঘন, ভাল ঠান্ডা সার্ভার অবকাঠামো প্রয়োজন, প্রায়শই তরল সহায়তায়। আপনি ভাড়াটে হিসাবে এটি পরিচালনা করেন না, তবে এটি ব্যাখ্যা করে কেন উপলব্ধতা নতুন ডেটা সেন্টারগুলিতে কেন্দ্রীভূত এবং কেন কার্ডগুলি যে কোনও ভাড়া ক্যাটালগের প্রিমিয়াম অংশে থাকে।

B200 কোন কাজের জন্য উপযুক্ত

B200 ওয়ার্কলোড স্পেকট্রামের সবচেয়ে ভারী প্রান্তের জন্য তৈরি। এটি নিম্নলিখিত কাজের জন্য শক্তিশালী উপযুক্ত:

• বড় মডেল প্রি-ট্রেনিং এবং পূর্ণ ফাইন-টিউনিং, যেখানে এর মেমরি ক্ষমতা, ব্যান্ডউইথ এবং NVLink স্কেলিং আপনাকে কম GPU এবং কম ক্রস-নোড যোগাযোগের মাধ্যমে বহু-বিলিয়ন-প্যারামিটার মডেল ট্রেন করতে দেয়।
• উচ্চ-থ্রুপুট LLM ইনফারেন্স, বিশেষ করে যখন আপনি FP8 বা FP4 ব্যবহার করে বড় মডেলগুলি একক ডিভাইসে উচ্চ সমান্তরালতা, বড় ব্যাচ সাইজ এবং দীর্ঘ কনটেক্সট উইন্ডো সহ সার্ভ করেন।
• মেমরি-সীমাবদ্ধ সার্ভিং যেমন দীর্ঘ-কনটেক্সট রিট্রিভাল বা মিক্সচার-অফ-এক্সপার্টস মডেল যা পূর্বে কয়েকটি ছোট GPU তে শার্ড করতে হতো।

এটি অনেক সাধারণ কাজের জন্য সত্যিই অতিরিক্ত। ছোট মডেল ফাইন-টিউনিং LoRA সহ, ক্লাসিক্যাল কম্পিউটার-ভিশন ট্রেনিং, প্রোটোটাইপিং, নোটবুক পরীক্ষা এবং কম-পরিমাণ ইনফারেন্স খুব কমই B200 সম্পূর্ণ ব্যবহার করে, এবং আপনি এমন ক্ষমতার জন্য শীর্ষ-স্তরের হার প্রদান করবেন যা আপনি পূরণ করতে পারবেন না। এই কাজগুলির জন্য পূর্ববর্তী প্রজন্মের ডেটা-সেন্টার কার্ড বা এমনকি একটি উচ্চ-VRAM ওয়ার্কস্টেশন GPU সাধারণত আরও অর্থনৈতিক ভাড়া। B200 বাস্তব-সময়ের গ্রাফিক্স বা রেন্ডারিং পাইপলাইনগুলিকে লক্ষ্য করে না যা RT কোর এবং ডিসপ্লে আউটপুটের উপর নির্ভর করে যেমন একটি ওয়ার্কস্টেশন বা গেমিং কার্ড করে, যদিও এটি CUDA-ভিত্তিক অফলাইন কম্পিউট চালাতে পারে।

ভাড়া প্রসঙ্গ: খরচ, উপলব্ধতা এবং কী পরীক্ষা করবেন

ভাড়া শর্তে B200 অন-ডিমান্ড মূল্য স্পেকট্রামের শীর্ষে বা কাছাকাছি থাকে কারণ এটি বর্তমান প্রজন্মের, সরবরাহ-সীমাবদ্ধ এবং সীমান্ত-স্কেলের কাজ করা সংস্থাগুলির জন্য লক্ষ্যযুক্ত। সঠিক হারগুলি ক্রমাগত পরিবর্তিত হয় এবং প্রদানকারী, অঞ্চল এবং প্রতিশ্রুতি দৈর্ঘ্যের উপর নির্ভর করে ভিন্ন হয়, তাই উপরের তুলনা ব্যবহার করুন লাইভ সংখ্যার জন্য, প্রবন্ধে উল্লেখিত কোনও সংখ্যার জন্য নয়। পরিকল্পনার জন্য কয়েকটি গুণগত বাস্তবতা:

• নির্বিঘ্নতা নতুন Blackwell সিলিকনের জন্য বাস্তব। অন-ডিমান্ড একক-GPU স্লাইসগুলি পুরানো অংশের তুলনায় খুঁজে পাওয়া কঠিন হতে পারে, এবং বৃহত্তম 8-GPU কনফিগারেশনগুলি প্রায়শই সংরক্ষিত বা সারিতে থাকে।
• স্পট এবং ইন্টারাপ্টেবল মূল্য নির্ধারণ নতুন কার্ডগুলির জন্য সীমিত বা অনুপস্থিত হতে পারে, কারণ প্রদানকারীরা সীমিত ক্ষমতা অন-ডিমান্ড হারে বিক্রি করতে পারে; পুরানো GPU গুলির মতো গভীর স্পট ছাড় আশা করবেন না।
• প্রতিশ্রুতি ছাড় (সাপ্তাহিক, মাসিক বা সংরক্ষিত শর্ত) প্রায়শই B200 ক্ষমতার প্রকৃত সাশ্রয় যেখানে দেখা যায়, নমনীয়তা হ্রাসের বিনিময়ে।

আপনি যখন উপরের টেবিল পড়বেন, তখন প্রতি GPU মেমরি তালিকাভুক্ত আছে কিনা, মাল্টি-GPU ইনস্ট্যান্সগুলি NVLink-সংযুক্ত কিনা, উপলব্ধ অঞ্চলগুলি, বিলিং গ্রানুলারিটি, এবং GPU এর চারপাশের ইন্টারকানেক্ট এবং স্টোরেজ তুলনা করুন। বিশেষ করে ট্রেনিং কাজের জন্য, দ্রুত স্থানীয় NVMe এবং উচ্চ-ব্যান্ডউইথ নেটওয়ার্কিং নির্ধারণ করে আপনি আসলেই এই ব্যয়বহুল GPU গুলোকে ব্যস্ত রাখতে পারবেন কিনা।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

B200 ভাড়া নেওয়া কাজের জন্য H100 থেকে দ্রুততর?

হ্যাঁ, B200 একটি নতুন Blackwell-প্রজন্মের অংশ এবং Hopper-ভিত্তিক H100 এর তুলনায় মেমরি ক্ষমতা, মেমরি ব্যান্ডউইথ এবং নিম্ন-প্রিসিশন থ্রুপুটে উল্লেখযোগ্যভাবে এগিয়ে, বিশেষ করে যখন আপনি FP8 বা নতুন FP4 ফরম্যাট ব্যবহার করেন। ব্যবহারিক লাভ আপনার ওয়ার্কলোডের উপর নির্ভর করে; মেমরি-সীমাবদ্ধ ইনফারেন্স এবং বড় মডেল ট্রেনিং সবচেয়ে বেশি উপকৃত হয়।

B200 এর কত মেমরি আছে?

একক B200 একটি বড় HBM3e মেমরি পুল প্রদান করে, যা H100 এর তুলনায় অনেক বেশি। এটি ভাড়াটেদের জন্য এর সবচেয়ে বড় সুবিধাগুলির মধ্যে একটি কারণ এটি বড় মডেল, দীর্ঘ কনটেক্সট এবং বড় ব্যাচ এক GPU তে চালাতে দেয়। প্রতিটি ইনস্ট্যান্সের জন্য উপরের তুলনায় তালিকাভুক্ত সঠিক প্রতি-GPU সংখ্যা পরীক্ষা করুন, কারণ প্রদানকারীরা কনফিগারেশনগুলি ভিন্নভাবে বর্ণনা করে।

আমার কি মাল্টি-GPU B200 ইনস্ট্যান্স দরকার?

শুধুমাত্র যদি আপনার মডেল বা ব্যাচ একক B200 এর মেমরিতে ফিট না করে, অথবা আপনি বেশি মোট থ্রুপুট প্রয়োজন। যখন আপনি মাল্টি-GPU যান, নিশ্চিত করুন ইনস্ট্যান্সটি NVLink ব্যবহার করে, সাধারণ PCIe নয়, কারণ NVLink মাল্টি-GPU ট্রেনিং এবং বড় মডেল সার্ভিং কার্যকর রাখে।

ছোট ফাইন-টিউনিং কাজের জন্য B200 ভাড়া নেওয়া কি মূল্যবান?

সাধারণত নয়। ছোট LoRA ফাইন-টিউন, প্রোটোটাইপিং এবং কম-পরিমাণ ইনফারেন্স খুব কমই B200 এর ক্ষমতা ব্যবহার করে, তাই আপনি এমন কম্পিউটের জন্য প্রিমিয়াম হার প্রদান করবেন যা আপনি পূরণ করতে পারবেন না। এই কাজগুলির জন্য পূর্ববর্তী প্রজন্মের ডেটা-সেন্টার GPU বা একটি উচ্চ-VRAM ওয়ার্কস্টেশন কার্ড সাধারণত আরও সাশ্রয়ী ভাড়া।