NVIDIA RTX 3090 সহ সেরা ক্লাউড GPU প্রদানকারী

RTX 3090 আসলে কী, এবং কেন এটি এখনও ক্লাউড ফ্লিটে দেখা যায়

NVIDIA GeForce RTX 3090 ২০২০ সালে অ্যাম্পিয়ার প্রজন্মের ফ্ল্যাগশিপ হিসেবে লঞ্চ করা হয়, যা GA102 ডাই-তে নির্মিত। এটি একটি বড় কনজিউমার-গ্রেড GPU-এর সাথে ৩৮৪-বিট বাসে উদার ২৪ জিবি GDDR6X মেমোরি যুক্ত করে, প্রায় ৯৩৬ জিবি/সেকেন্ড মেমোরি ব্যান্ডউইথ প্রদান করে। উচ্চ VRAM এবং উচ্চ ব্যান্ডউইথের এই সংমিশ্রণটি একটি কনজিউমার দামের পয়েন্টে কার্ডটিকে বাজেট সচেতন ক্লাউড GPU ফ্লিটে একটি কর্মহীন হিসেবে পরিণত করেছে, এবং মুক্তির বছর পরেও এটি উপরের তুলনায় দেখা যায়

কারণ এটি একটি অ্যাম্পিয়ার কার্ড, RTX 3090 তৃতীয় প্রজন্মের টেনসর কোর এবং দ্বিতীয় প্রজন্মের RT কোর বহন করে। AI কাজের জন্য টেনসর কোরগুলি প্রাসঙ্গিক অংশ: তারা FP16 এবং BF16 মিশ্র-প্রিসিশন গণনা ত্বরান্বিত করে, পাশাপাশি INT8 এবং INT4 ইনফারেন্সের জন্য। কার্ডটি অ্যাম্পিয়ারের স্ট্রাকচার্ড স্পার্সিটি ফিচারটিও সমর্থন করে, যা সামঞ্জস্যপূর্ণ মডেলগুলিতে অতিরিক্ত থ্রুপুট প্রদান করে। যা নেই তা হলো FP8 সমর্থন — যা পরবর্তী হপার এবং আডা লাভলেস প্রজন্মের সাথে এসেছে — তাই FP8-র জন্য বিশেষভাবে টিউন করা ওয়ার্কফ্লো এখানে লাভবান হবে না।

যখন আপনি এটি ভাড়া নেন তখন গুরুত্বপূর্ণ স্পেসিফিকেশন

• মেমোরি: ২৪ জিবি GDDR6X। এটি ভাড়াটেদের জন্য সবচেয়ে গুরুত্বপূর্ণ সংখ্যা। এটি ৭বি–১৩বি প্যারামিটার রেঞ্জের অনেক মডেলকে কোয়ান্টাইজেশনের সাথে ফাইন-টিউন বা ইনফারেন্স চালানোর জন্য যথেষ্ট, এবং বেশিরভাগ রেন্ডারিং ও বৈজ্ঞানিক দৃশ্য সহজেই পরিচালনা করতে সক্ষম।
• ব্যান্ডউইথ: প্রায় ৯৩৬ জিবি/সেকেন্ড, যা বড় মেমোরি পুলকে মেমোরি-বাউন্ড ইনফারেন্স এবং ট্রেনিং ধাপের জন্য ভালভাবে সাপ্লাই করে।
• প্রিসিশন সাপোর্ট: FP32, TF32, FP16, BF16, INT8, INT4 — FP8 নয়। টেনসর কোরগুলি আধুনিক ML-এ ব্যবহৃত নিম্ন-প্রিসিশন পাথগুলিকে ত্বরান্বিত করে।
• ইন্টারকানেক্ট: PCIe Gen 4, যেখানে ঠিক দুই কার্ডের মধ্যে ঐচ্ছিক NVLink রয়েছে। ৩০৯০ হল শেষ GeForce কার্ড যা NVLink ব্রিজ প্রদান করে, যা একটি জোড়া সেটআপকে PCIe থেকে দ্রুত GPU-টু-GPU লিঙ্ক দেয়।
• পাওয়ার এবং তাপমাত্রা শ্রেণী: ৩৫০ ওয়াট বোর্ড, যা একটি অর্থবহ পাওয়ার ড্র এবং এর কারণেই হোস্টরা প্রায়শই এটিকে একক বা দ্বৈত কার্ড ইনস্ট্যান্স হিসেবে প্রকাশ করে, ঘন ৮-ওয়ে নোডের পরিবর্তে।

একটি ব্যবহারিক সতর্কতা: RTX 3090 একটি কনজিউমার কার্ড এবং NVIDIA-এর ড্রাইভার লাইসেন্সিং অনুযায়ী, এটি A-সিরিজ এবং পরবর্তী প্রফেশনাল কার্ডগুলোর মতো বড় স্কেলের ডেটাসেন্টার স্থাপনার জন্য পরিকল্পিত ছিল না। ক্লাউড ফ্লিটে এটি প্রায়শই কমিউনিটি বা পিয়ার-টু-পিয়ার স্টাইল মার্কেটপ্লেসে পাওয়া যায়, যা এটিকে সস্তা করে তোলে।

যে কাজগুলোতে এটি সত্যিই মানায়

২৪ জিবি বাফারই মূল আকর্ষণ। এটি এমন কাজ খুলে দেয় যা ৮–১৬ জিবি কার্ডে ফিট হয় না, আবার ডেটাসেন্টার অ্যাক্সিলারেটরের তুলনায় খরচ অনেক কম রাখে। ভাল মিলের মধ্যে রয়েছে:

• ছোট থেকে মাঝারি মডেল ফাইন-টিউনিং LoRA/QLoRA সহ, যেখানে প্যারামিটার সংখ্যা মাঝারি কিন্তু আপনি এখনও অপটিমাইজার স্টেট এবং যুক্তিসঙ্গত ব্যাচ সাইজের জন্য জায়গা চান।
• কোয়ান্টাইজড ৭বি–১৩বি ভাষা মডেলের ইনফারেন্স, এবং বেশিরভাগ ডিফিউশন ও ভিশন মডেলের আরামদায়ক ইনফারেন্স।
• ৩ডি রেন্ডারিং এবং কনটেন্ট ক্রিয়েশন — কার্ডটি গ্রাফিক্সের জন্য ডিজাইন করা হয়েছে, তাই OptiX-ত্বরান্বিত পাথ ট্রেসিং, Blender Cycles, এবং অনুরূপ পাইপলাইনগুলি ভাল চলে এবং বড় টেক্সচার ও জ্যামিতির জন্য ২৪ জিবি সরাসরি উপকার পায়।
• পরীক্ষা-নিরীক্ষা, প্রোটোটাইপিং, এবং শেখা, যেখানে আপনি একটি সক্ষম GPU চান কিন্তু প্রিমিয়াম ঘণ্টাভিত্তিক রেটের জন্য বাধ্য হতে চান না।

এটি ছোট মডেল বা হালকা নোটবুক পরীক্ষার জন্য অতিরিক্ত, যা সস্তা ৮–১২ জিবি কার্ডে ফিট হয়, এবং সীমান্ত-স্কেলের ট্রেনিংয়ের জন্য কমক্ষম. বড় মডেল শূন্য থেকে ট্রেনিং করা বা মাল্টি-নোড বিতরণকৃত ট্রেনিং চালানো HBM-যুক্ত ডেটাসেন্টার GPU এবং NVLink/NVSwitch ফ্যাব্রিকের প্রয়োজন — ৩০৯০-এর দুই-কার্ড NVLink সীমা এবং PCIe-ভিত্তিক স্কেলিং এটিকে ঘন মাল্টি-GPU ক্লাস্টারের জন্য খারাপ ফিট করে। রিয়েল-টাইম, উচ্চ-কনকারেন্সি প্রোডাকশন ইনফারেন্স সাধারণত FP8 এবং প্রতি ডলারে উচ্চ থ্রুপুট সহ নতুন কার্ড দ্বারা ভাল সেবা পায়।

ভাড়া খরচ এবং প্রাপ্যতার প্রেক্ষাপট

খরচের পরিসরে RTX 3090 দৃঢ়ভাবে GPU ভাড়ার বাজেট স্তরে অবস্থান করে — A100/H100-শ্রেণীর হার্ডওয়্যার এবং এমনকি নতুন প্রফেশনাল আডা কার্ডের থেকেও অনেক কম, যদিও অনেক সমমূল্যের বিকল্পের তুলনায় বেশি VRAM প্রদান করে। এটি পুরানো কনজিউমার সিলিকন হওয়ায়, সরবরাহ সাধারণত ইন্টারাপ্টেবল, স্পট, এবং কমিউনিটি-হোস্টেড ক্যাপাসিটি থেকে আসে, তাই প্রাপ্যতা পরিবর্তনশীল হতে পারে এবং নির্দিষ্ট হোস্ট ইনস্ট্যান্সগুলি প্রত্যাহার করতে পারে। সঠিক, বর্তমান ঘণ্টাভিত্তিক রেট এবং কোন প্রোভাইডারদের স্টক আছে তা জানতে উপরের লাইভ তুলনাটি ব্যবহার করুন, কারণ দাম চাহিদার সঙ্গে পরিবর্তিত হয় এবং অন-ডিমান্ড ও ইন্টারাপ্টেবল অফারগুলোর মধ্যে ব্যাপক পার্থক্য থাকে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

RTX 3090-এ কত VRAM আছে, এবং এটি LLM-এর জন্য যথেষ্ট?

এতে ২৪ জিবি GDDR6X রয়েছে। এটি কোয়ান্টাইজেশনের মাধ্যমে প্রায় ১৩বি প্যারামিটার রেঞ্জ পর্যন্ত অনেক মডেল চালানো এবং ফাইন-টিউন করার জন্য যথেষ্ট (যেমন ৪-বিট QLoRA), এবং কোয়ান্টাইজড ইনফারেন্স আরামদায়কভাবে পরিবেশন করতে সক্ষম। এর চেয়ে বড় মডেল সাধারণত একাধিক কার্ড বা উচ্চ VRAM ডেটাসেন্টার GPU প্রয়োজন।

আমি ভাড়া নেওয়ার সময় দুইটি RTX 3090 একসাথে লিঙ্ক করতে পারি?

হ্যাঁ, ৩০৯০ দুটি কার্ডের মধ্যে NVLink সমর্থন করে, এবং কিছু হোস্ট জোড়া কনফিগারেশন অফার করে। এটি দুই-GPU কাজের জন্য PCIe থেকে দ্রুত লিঙ্ক দেয়। তবে, NVLink এখানে শুধুমাত্র জোড়ার জন্য সীমাবদ্ধ — NVSwitch-শৈলীর ফ্যাব্রিক নেই — তাই এটি বড় বিতরণকৃত ট্রেনিংয়ের জন্য ব্যবহৃত ঘন ৪- এবং ৮-GPU নোডে সুষ্ঠুভাবে স্কেল করে না।

RTX 3090 FP8 বা সর্বশেষ প্রিসিশন ফরম্যাট সমর্থন করে?

না। একটি অ্যাম্পিয়ার কার্ড হিসেবে এটি FP32, TF32, FP16, BF16, INT8, এবং INT4 সমর্থন করে তার তৃতীয় প্রজন্মের টেনসর কোরের মাধ্যমে, প্লাস স্ট্রাকচার্ড স্পার্সিটি। FP8 পরবর্তী হপার এবং আডা লাভলেস প্রজন্মে এসেছে, তাই যদি আপনার ওয়ার্কফ্লো বিশেষভাবে FP8-র ওপর নির্ভর করে, তাহলে আপনাকে নতুন GPU নিতে হবে।

RTX 3090 ডেটাসেন্টার GPU থেকে কেন সস্তা?

এটি ২০২০ সালের একটি কনজিউমার গ্রাফিক্স কার্ড যা GDDR6X ব্যবহার করে HBM মেমোরির পরিবর্তে, এবং এটি ঘন ডেটাসেন্টার স্থাপনার জন্য ডিজাইন করা হয়নি। এটি প্রায়শই ইন্টারাপ্টেবল বা কমিউনিটি-হোস্টেড ক্যাপাসিটি থেকে আসে। এর ফলে ঘণ্টাভিত্তিক রেট কম থাকে, তবে প্রাপ্যতা কম পূর্বাভাসযোগ্য এবং বর্তমান HBM-ভিত্তিক অ্যাক্সিলারেটরের তুলনায় কম সর্বোচ্চ থ্রুপুট থাকে।