NVIDIA H100 সহ সেরা ক্লাউড GPU প্রদানকারীগণ

NVIDIA H100 আসলে কী

H100 হল NVIDIA-এর ডেটা-সেন্টার অ্যাক্সেলেটর যা Hopper আর্কিটেকচারের ওপর নির্মিত, যা পুরনো Ampere A100 এবং নতুন Blackwell অংশগুলোর মধ্যে একটি প্রজন্ম। এটি সেই GPU যা বেশিরভাগ দল ব্যবহার করে যখন তারা গুরুতর বড় মডেল প্রশিক্ষণ বা উচ্চ-থ্রুপুট ইনফারেন্স করতে চায়, তবে পুরোপুরি কনজিউমার কার্ডে নামতে চায় না। উপরের তুলনা থেকে যখন আপনি একটি H100 ইনস্ট্যান্স ভাড়া নেন, তখন আপনি একটি উদ্দেশ্যনির্মিত AI অ্যাক্সেলেটর ভাড়া নিচ্ছেন, একটি পুনঃব্যবহৃত গেমিং GPU নয়, এবং এটি নির্ধারণ করে এটি কী করতে পারে এবং এর খরচ কত হবে।

ভাড়াটে ব্যক্তির জন্য গুরুত্বপূর্ণ মূল হার্ডওয়্যার বৈশিষ্ট্যসমূহ:

• মেমোরি: SXM5 ভ্যারিয়েন্ট ৮০ জিবি HBM3 নিয়ে আসে, আর PCIe ভ্যারিয়েন্ট HBM2e ব্যবহার করে, যা মূলধারার অংশে ৮০ জিবি। পরবর্তী রিফ্রেশ, H100 NVL, প্রতি কার্ডের ক্ষমতা বাড়ায়। বড়, দ্রুত HBM হল GDDR6-ভিত্তিক বিকল্পগুলোর তুলনায় এই কার্ডটি বেছে নেওয়ার সবচেয়ে বড় কারণ।
• মেমোরি ব্যান্ডউইথ: SXM5 অংশের HBM3 প্রায় ৩ টিবি/সেকেন্ড সরবরাহ করে, যা কনজিউমার GDDR6/GDDR6X কার্ডের থেকে অনেক বেশি। ব্যান্ডউইথ, কাঁচা FLOPs নয়, সেটাই বড় ট্রান্সফর্মার লেয়ারগুলিকে খাওয়ায়।
• টেনসর কোর এবং প্রিসিশন: চতুর্থ প্রজন্মের টেনসর কোর FP16, BF16, TF32, INT8 এবং — Hopper-এর সাথে নতুন — FP8 সমর্থন করে। FP8 আধুনিক LLM ওয়ার্কলোডের জন্য প্রধান বৈশিষ্ট্য, যা সমর্থিত কার্নেলগুলিতে FP16 এর তুলনায় প্রায় দ্বিগুণ থ্রুপুট দেয় এবং সঠিক স্কেলিংয়ের মাধ্যমে যথাযথ নির্ভুলতা বজায় রাখে।
• ট্রান্সফর্মার ইঞ্জিন: Hopper FP8 হার্ডওয়্যারকে এমন সফটওয়্যারের সাথে যুক্ত করে যা প্রতিটি লেয়ারের জন্য ডায়নামিকভাবে প্রিসিশন পরিচালনা করে, যার ফলে একই মডেলে H100 ট্রান্সফর্মার প্রশিক্ষণ এবং ইনফারেন্সে আগের প্রজন্মের তুলনায় অনেক এগিয়ে যেতে পারে।
• ইন্টারকানেক্ট: SXM5 বোর্ডগুলি নোডের ভিতরে উচ্চ ব্যান্ডউইথ GPU-টু-GPU লিঙ্কের জন্য চতুর্থ প্রজন্মের NVLink এবং NVSwitch ব্যবহার করে, যখন PCIe কার্ডগুলি PCIe বাসের উপর নির্ভর করে (কিছু ভ্যারিয়েন্টে ঐচ্ছিক NVLink ব্রিজ সহ)। এই পার্থক্য মাল্টি-GPU কাজের জন্য অত্যন্ত গুরুত্বপূর্ণ।
• পাওয়ার ক্লাস: SXM5 কার্ডটি প্রায় ৭০০ ওয়াটের একটি অংশ ৮-GPU সার্ভার চ্যাসিসে; PCIe কার্ডটি কম, প্রায় ৩৫০ ওয়াট। আপনি ভাড়া নেওয়ার সময় সরাসরি বিদ্যুৎ বিল পরিশোধ করেন না, তবে এটি ব্যাখ্যা করে কেন এই ইনস্ট্যান্সগুলি ঘন, গরম এবং সেই অনুযায়ী মূল্য নির্ধারণ করা হয়।

H100 কোন ওয়ার্কলোডগুলোর জন্য সত্যিই উপযুক্ত

H100 তার মূল্য রাখে মেমোরি-বাউন্ড, থ্রুপুট-লালায়িত কাজগুলোতে। এটি শক্তিশালী মিল:

• বড় মডেল প্রশিক্ষণ এবং ফাইন-টিউনিং: ৮০ জিবি HBM আপনাকে বড় ব্যাচ এবং বড় প্যারামিটার শার্ড প্রতি GPU ধরে রাখতে দেয়, এবং NVLink মাল্টি-GPU ও মাল্টি-নোড স্কেলিংকে দক্ষ করে তোলে ডেটা এবং টেনসর-প্যারালাল প্রশিক্ষণের জন্য।
• উচ্চ-থ্রুপুট LLM ইনফারেন্স: FP8 এবং ট্রান্সফর্মার ইঞ্জিন এটিকে বড় ভাষা মডেলগুলি উচ্চ অনুরোধ পরিমাণে পরিবেশন করার জন্য চমৎকার করে তোলে, যেখানে প্রতি ডলারে প্রতি সেকেন্ড টোকেনের গুরুত্ব থাকে।
• মাঝারি থেকে বড় মডেলের ফাইন-টিউনিং: পূর্ণ ফাইন-টিউন এবং প্যারামিটার-কার্যকর পদ্ধতিগুলো মাল্টি-বিলিয়ন প্যারামিটার মডেলে আরামদায়কভাবে ফিট করে যেখানে ছোট VRAM কার্ডগুলো জোরপূর্বক অফলোডিং বাধ্য করে।
• বৈজ্ঞানিক এবং HPC কম্পিউট: শক্তিশালী FP64 থ্রুপুট (কনজিউমার কার্ডের বিপরীতে, যা এখানে ইচ্ছাকৃতভাবে দুর্বল) এটিকে কেবল AI নয়, সিমুলেশন এবং সংখ্যাসূচক কাজের জন্যও কার্যকর করে তোলে।

এটি ছোট মডেল পরীক্ষণ, হালকা ইনফারেন্স, ক্লাসিক্যাল ML, নোটবুক এবং অধিকাংশ রেন্ডারিং বা ভিজ্যুয়ালাইজেশন কাজের জন্য অতিরিক্ত — সেগুলো অনেক সস্তা কার্ডেই ভালো চলে, এবং তাদের জন্য H100 ভাড়া নেওয়া বেশিরভাগ সময় অর্থের অপচয়। এটি খুব কমই অপর্যাপ্ত হয় একক-নোড কাজের জন্য; প্রধান কারণ যা দলগুলোকে এটি ছাড়িয়ে যেতে বাধ্য করে তা হল এই কার্ডগুলোর একক নোডের চেয়ে বেশি সামগ্রিক মেমোরির প্রয়োজন বা নতুন প্রজন্মের দক্ষতা লাভের আকাঙ্ক্ষা।

SXM বনাম PCIe — আপনি যে ভ্যারিয়েন্ট ভাড়া নিচ্ছেন তা গুরুত্বপূর্ণ

এটি ভাড়া নেওয়ার সময় সবচেয়ে অবহেলিত বিবরণ। SXM5 বোর্ডগুলি উচ্চ ব্যান্ডউইথ, পূর্ণ NVLink/NVSwitch ফ্যাব্রিক এবং উচ্চ টেকসই ক্লক অফার করে, যার কারণে গুরুতর মাল্টি-GPU প্রশিক্ষণ প্রায়ই এগুলো ব্যবহার করে। PCIe কার্ডগুলি হোস্ট করতে সস্তা এবং একক-GPU ইনফারেন্স বা ছোট কাজের জন্য ঠিক আছে, তবে তাদের ইন্টার-GPU লিঙ্কগুলি ধীর। যদি উপরের তালিকায় ভ্যারিয়েন্ট উল্লেখ না থাকে, তবে মাল্টি-GPU প্রশিক্ষণ শুরু করার আগে এটি নিশ্চিত করুন।

ভাড়ার খরচ, প্রাপ্যতা এবং অভাব

ক্লাউড GPU খরচের পরিসরে, H100 শীর্ষের কাছাকাছি অবস্থান করে — A100 এর উপরে এবং RTX 4090 এর মতো কনজিউমার কার্ডের অনেক উপরে — যদিও এটি নতুন Blackwell-শ্রেণীর হার্ডওয়্যারের দ্বারা চূড়ান্ত সীমানা থেকে সরানো হয়েছে। কারণ সঠিক হারগুলি ক্রমাগত পরিবর্তিত হয় এবং প্রদানকারী, অঞ্চল, চুক্তির মেয়াদ এবং ভ্যারিয়েন্ট অনুযায়ী ভিন্ন হয়, তাই উপরের তুলনা থেকে লাইভ সংখ্যা পড়া উচিত, কোনও নির্দিষ্ট সংখ্যার উপর নির্ভর না করে। কয়েকটি গুণগত পয়েন্ট স্থির থাকে:

• অন-ডিমান্ড বনাম স্পট: ইন্টারাপ্টেবল বা স্পট H100 ক্ষমতা অন-ডিমান্ডের তুলনায় উল্লেখযোগ্যভাবে সস্তা হতে পারে, যা চেকপয়েন্ট করা প্রশিক্ষণ এবং ত্রুটিপূর্ণ ব্যাচ ইনফারেন্সের জন্য উপযুক্ত, তবে ভাল চেকপয়েন্টিং ছাড়া দীর্ঘ একক-শট কাজের জন্য ঝুঁকিপূর্ণ।
• অভাব: H100 সরবরাহ ঐতিহাসিকভাবে সংকীর্ণ হয়েছে, তাই প্রাপ্যতা — শুধু দাম নয় — অঞ্চল এবং প্রদানকারীর উপর নির্ভর করে পরিবর্তিত হয়। আপনার অঞ্চলে ক্ষমতা শেষ হয়ে গেলে সবচেয়ে সস্তা তালিকাটি মূল্যহীন।
• প্রতি-GPU বনাম পূর্ণ-নোড: অনেক প্রদানকারী একক H100 ভাড়া দেয়, তবে সেরা মাল্টি-GPU কর্মক্ষমতা আসে পূর্ণ ৮-GPU NVLink নোড থেকে; যাচাই করুন আপনি আংশিক, একক বা পূর্ণ-নোড অ্যাক্সেস পাচ্ছেন কিনা।
• বিলিং গ্রানুলারিটি: প্রতি সেকেন্ড বা প্রতি মিনিট বিলিং ছোট ফাইন-টিউন এবং বিস্ফোরণমূলক ইনফারেন্সের জন্য সুবিধাজনক; ঘণ্টাভিত্তিক ন্যূনতম বিলিং দীর্ঘ রানগুলোর জন্য ভালো। আপনার ওয়ার্কলোড প্যাটার্নের সাথে মডেল মিলিয়ে নিন।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

ক্লাউড H100-এ কত VRAM থাকে?

মেইনস্ট্রিম H100-এ ৮০ জিবি উচ্চ ব্যান্ডউইথ মেমোরি থাকে — SXM5 ভ্যারিয়েন্টে HBM3 এবং PCIe ভ্যারিয়েন্টে HBM2e। পরবর্তী H100 NVL রিফ্রেশ প্রতি কার্ডের ক্ষমতা বাড়ায়। সর্বদা উপরের তালিকায় সঠিক ভ্যারিয়েন্ট এবং মেমোরি পরিমাণ নিশ্চিত করুন, কারণ তা নির্ধারণ করে কোন বড় মডেল এবং ব্যাচ সাইজ আপনি অফলোডিং ছাড়াই চালাতে পারবেন।

A100 এর তুলনায় H100 ভাড়া নেওয়া কি মূল্যবান?

ট্রান্সফর্মার প্রশিক্ষণ এবং ইনফারেন্সের জন্য সাধারণত হ্যাঁ: Hopper-এর FP8 সমর্থন এবং ট্রান্সফর্মার ইঞ্জিন Ampere-এর A100 এর তুলনায় প্রতি GPU অনেক বেশি থ্রুপুট দিতে পারে, যা প্রায়শই প্রতি টোকেন বা প্রতি ধাপ খরচের ভিত্তিতে উচ্চ ঘণ্টার হারের ক্ষতিপূরণ করে। ছোট বা মেমোরি-হালকা কাজের জন্য যা FP8 ব্যবহার করে না, সস্তা A100 বা কনজিউমার কার্ড ভালো মান হতে পারে।

SXM5 না PCIe H100 বেছে নেব?

মাল্টি-GPU প্রশিক্ষণ এবং ঘনিষ্ঠভাবে সংযুক্ত বিতরণকৃত কাজের জন্য SXM5 বেছে নিন, কারণ এর NVLink/NVSwitch ফ্যাব্রিক এবং উচ্চ ব্যান্ডউইথ GPU গুলোর মধ্যে অনেক ভালো স্কেল করে। PCIe একক-GPU ইনফারেন্স বা ছোট কাজের জন্য ঠিক আছে এবং প্রায়শই সস্তা। যদি ভ্যারিয়েন্ট উল্লেখ না থাকে, মাল্টি-GPU রান বুক করার আগে জিজ্ঞাসা করুন।

স্পট বা ইন্টারাপ্টেবল H100 ইনস্ট্যান্স দিয়ে কি আমি টাকা বাঁচাতে পারি?

হ্যাঁ, ইন্টারাপ্টেবল ক্ষমতা সাধারণত অন-ডিমান্ডের তুলনায় অনেক সস্তা, এবং এটি নিয়মিত চেকপয়েন্ট সহ প্রশিক্ষণ বা পুনরায় শুরু সহ্য করতে পারে এমন ব্যাচ ইনফারেন্সের জন্য ভালো কাজ করে। দীর্ঘ, অনচেকপয়েন্টেড কাজের জন্য এড়িয়ে চলুন যেখানে মাঝখানে ইভিকশন ঘণ্টার পরিশোধিত কম্পিউট নষ্ট করবে। উপরের টেবিল থেকে উভয় মূল্যায়ন মোড তুলনা করুন।