NVIDIA RTX 4090 সহ সেরা ক্লাউড GPU প্রদানকারীরা

RTX 4090 আসলে কী, এবং কেন মানুষ এটি ভাড়া নেয়

GeForce RTX 4090 হল NVIDIA-এর শীর্ষস্থানীয় কনজিউমার কার্ড যা Ada Lovelace আর্কিটেকচারের উপর নির্মিত। এটি বহন করে ২৪ জিবি GDDR6X মেমরি একটি ৩৮৪-বিট বাসে, যা প্রায় ১ টিবি/সেকেন্ড মেমরি ব্যান্ডউইথ দেয়, এবং এটি চতুর্থ প্রজন্মের টেনসর কোর এবং তৃতীয় প্রজন্মের RT কোর নিয়ে আসে। ক্লাউডে এটি একটি অস্বাভাবিক অবস্থান অধিকার করে: এটি প্রযুক্তিগতভাবে একটি গেমিং এবং ওয়ার্কস্টেশন GPU, ডেটা-সেন্টার অ্যাক্সিলারেটর নয়, তবুও এর কাঁচা FP16/BF16 টেনসর থ্রুপুট এতটাই উচ্চ যে এটি AI টিঙ্কারিং, ছোট থেকে মাঝারি মডেলগুলোর ফাইন-টিউনিং, এবং উচ্চ-থ্রুপুট ব্যাচ ইনফারেন্সের জন্য জনপ্রিয় এবং খরচ-কার্যকর ভাড়া হয়ে উঠেছে।

উপরের তুলনায় এটি এতবার প্রদর্শিত হওয়ার কারণ সহজ। ২৪ জিবির মধ্যে ফিট হওয়া ওয়ার্কলোডগুলোর জন্য, 4090 অনেক বেশি দামের ডেটা-সেন্টার পার্টের ম্যাট্রিক্স-ম্যাথ পারফরম্যান্সের একটি বড় অংশ প্রদান করে ভাড়ার খরচের একটি ছোট অংশে। এটি ব্যক্তিগত ডেভেলপার, ছাত্র এবং ছোট টিমদের জন্য যাদের NVLink বা ৮০ জিবি মেমরি দরকার নেই, সেরা মূল্য-থেকে-পারফরম্যান্স বিকল্পগুলোর একটি করে তোলে।

ভাড়া নেওয়ার সময় গুরুত্বপূর্ণ হার্ডওয়্যার বৈশিষ্ট্যসমূহ

• মেমরি: ২৪ জিবি GDDR6X। এটি পরিকল্পনার জন্য সবচেয়ে গুরুত্বপূর্ণ একক সংখ্যা। GDDR6X দ্রুত কিন্তু এটি HBM নয়, তাই 4090-এর ব্যান্ডউইথ কম এবং HBM2e বা HBM3 ব্যবহার করা ডেটা-সেন্টার কার্ডগুলোর তুলনায় অনেক কম ক্ষমতা রয়েছে। ২৪ জিবির বেশি মডেল বা ব্যাচ সাইজগুলো আউট-অফ-মেমরি হবে যদি না আপনি শার্ডিং, কোয়ান্টাইজেশন বা অফলোড করেন।
• টেনসর কম্পিউট: Ada Lovelace টেনসর কোর FP16, BF16, INT8, এবং FP8 (Transformer Engine ডেটা টাইপের মাধ্যমে) সমর্থন করে, যা মিক্সড-প্রিসিশন ট্রেনিং এবং কোয়ান্টাইজড ইনফারেন্সের জন্য চমৎকার। নেটিভ FP64 অ্যাক্সিলারেশন নেই, তাই এটি ডাবল-প্রিসিশন বৈজ্ঞানিক কম্পিউটিংয়ের জন্য উপযুক্ত নয়।
• ইন্টারকানেক্ট: RTX 4090-এ কোনো NVLink নেই. মাল্টি-GPU বক্সগুলো কার্ডগুলোকে শুধুমাত্র PCIe মাধ্যমে সংযুক্ত করে। আপনি এখনও ডেটা-প্যারালাল ট্রেনিং চালাতে পারেন বা একাধিক 4090-এ একাধিক মডেল রেপ্লিকা সার্ভ করতে পারেন, কিন্তু একটি বড় মডেলের টেনসর-প্যারালাল শার্ডিং কার্ডগুলোর মধ্যে ব্যান্ডউইথ-সীমাবদ্ধ এবং NVLink-যুক্ত অ্যাক্সিলারেটরের তুলনায় অকার্যকর।
• পাওয়ার এবং থার্মাল: এটি প্রায় ৪৫০ ওয়াট কার্ড যার একটি বড় কুলার রয়েছে। মাল্টি-GPU ভাড়া নোডে এর মানে ঘনত্ব এবং কুলিং সত্যিকারের সীমাবদ্ধতা, যা কারণেই সব-4090 সার্ভারগুলো কখনও কখনও ইন্টারাপ্টেবল বা কমিউনিটি-হোস্টেড ক্যাপাসিটি হিসেবে দেওয়া হয়, গ্যারান্টিযুক্ত এন্টারপ্রাইজ ইনস্ট্যান্সের পরিবর্তে।

RTX 4090 যে ওয়ার্কলোডগুলোর জন্য ভালো

4090 একটি নির্দিষ্ট কাজের জন্য সত্যিই শক্তিশালী:

• ফাইন-টিউনিং এবং LoRA/QLoRA ৭বি-১৩বি প্যারামিটার ভাষা মডেলগুলোর কোয়ান্টাইজেশনের সাথে, যেখানে ২৪ জিবি যথেষ্ট যখন ওজনগুলো ৪-বিট বা ৮-বিটে লোড করা হয়।
• উচ্চ-থ্রুপুট ব্যাচ ইনফারেন্স কোয়ান্টাইজড LLM, ডিফিউশন ইমেজ জেনারেশন, এবং এম্বেডিং মডেলগুলোর জন্য, যেখানে আপনি টোকেন বা ইমেজ প্রতি ডলারের হিসাব করেন, আল্ট্রা-লো লেটেন্সি নয় বৃহৎ স্কেলে।
• কম্পিউটার ভিশন এবং ছোট মডেল ট্রেনিং স্ক্র্যাচ থেকে, যার মধ্যে অবজেক্ট ডিটেকশন, সেগমেন্টেশন, এবং অডিও মডেল রয়েছে যা মেমরিতে আরামদায়কভাবে ফিট হয়।
• রেন্ডারিং এবং 3D কাজ, কারণ RT কোর এবং শক্তিশালী FP32 থ্রুপুট এটিকে Blender, OctaneRender, এবং অনুরূপ GPU রেন্ডারারদের জন্য চমৎকার করে তোলে।
• প্রোটোটাইপিং ব্যয়বহুল মাল্টি-নোড ডেটা-সেন্টার ক্লাস্টারে যাওয়ার আগে।

যেখানে এটি ভুল টুল

এটি কম ক্ষমতার বা উপযুক্ত নয়: খুব বড় মডেলগুলোর ট্রেনিং বা ফুল-প্রিসিশন সার্ভিং যা প্রতি GPU ৪০-৮০ জিবি বা তার বেশি প্রয়োজন; টাইটলি কাপলড টেনসর-প্যারালাল কাজ যা NVLink বা দ্রুত ইন্টার-নোড ফ্যাব্রিকের উপর নির্ভর করে; FP64 HPC এবং সিমুলেশন; এবং প্রোডাকশন ইনফারেন্স যা MIG পার্টিশনিং, ECC মেমরি গ্যারান্টি, বা এন্টারপ্রাইজ SLA-এর মতো ফিচার প্রয়োজন। সেসবের জন্য, এই সাইটের অন্যান্য বিভাগে বড় HBM-ভিত্তিক অ্যাক্সিলারেটরগুলো সঠিক পছন্দ, যদিও সেগুলো অনেক বেশি খরচ হয়।

ভাড়ার খরচ, প্রাপ্যতা, এবং কী পরীক্ষা করবেন

মূল্য পরিসরে, RTX 4090 দৃঢ়ভাবে ভ্যালু টিয়ারে অবস্থান করছে। এটি সাধারণত আধুনিক চতুর্থ-জেন টেনসর কোর পারফরম্যান্স প্রতি ঘণ্টা পাওয়ার সবচেয়ে সস্তা উপায়গুলোর একটি, যা এটিকে ব্যাপকভাবে ভাড়া নেওয়ার কারণ। দামগুলি ক্রমাগত পরিবর্তিত হয় এবং প্রদানকারীর উপর নির্ভর করে ভিন্ন হয়, তাই উপরের তুলনায় লাইভ তথ্য ব্যবহার করুন যেকোনো নির্দিষ্ট সংখ্যার পরিবর্তে।

এই কার্ডের জন্য কয়েকটি ব্যবহারিক কেনাকাটার টিপস:

• অন-ডিমান্ড বনাম ইন্টারাপ্টেবল: 4090 ক্যাপাসিটি প্রায়ই স্পট, কমিউনিটি, বা ইন্টারাপ্টেবল ইনস্ট্যান্স হিসেবে দেওয়া হয়। এটি ফল্ট-টলারেন্ট ব্যাচ জবের জন্য ঠিক আছে কিন্তু দীর্ঘ সময়ের জন্য unattended ট্রেনিং রানগুলোর জন্য ঝুঁকিপূর্ণ যদি না আপনি নিয়মিত চেকপয়েন্ট করেন।
• প্রতি সেকেন্ড বা প্রতি মিনিট বিলিং এখানে খুব গুরুত্বপূর্ণ কারণ 4090 কাজগুলো প্রায়ই ছোট এবং বিস্ফোরণধর্মী; সূক্ষ্ম বিলিং গ্রানুলারিটি অব্যবহৃত মিনিটের জন্য অর্থ প্রদান এড়ায়।
• vCPU, RAM, এবং ডিস্ক প্রতি GPU ভোক্তা-কার্ড হোস্টে ব্যাপকভাবে পরিবর্তিত হয়। কম provision করা CPU বা ধীর স্টোরেজ ডেটা লোডিংয়ে বাধা সৃষ্টি করতে পারে এবং GPU-এর মূল্য সুবিধা মুছে দিতে পারে।
• সিঙ্গেল বনাম মাল্টি-GPU: NVLink না থাকার কারণে, 4090-কে সিঙ্গেল-GPU বা সহজে প্যারালাল ওয়ার্কলোডের জন্য পছন্দ করুন, এবং যদি স্কেল করার পরিকল্পনা থাকে তবে PCIe টপোলজি যাচাই করুন।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

RTX 4090-এ কত VRAM আছে, এবং এটি LLM-এর জন্য যথেষ্ট?

RTX 4090-এ ২৪ জিবি GDDR6X মেমরি রয়েছে। এটি ৭বি-১৩বি প্যারামিটার মডেলগুলোর ৪-বিট বা ৮-বিট কোয়ান্টাইজেশনের সাথে ফাইন-টিউন এবং সার্ভ করার জন্য যথেষ্ট, এবং অনেক ডিফিউশন ও ভিশন মডেল আরামদায়কভাবে চালানোর জন্য যথেষ্ট। বড় মডেলগুলো সাধারণত কোয়ান্টাইজেশন, অফলোডিং, বা উচ্চ-মেমরি ডেটা-সেন্টার GPU প্রয়োজন।

আপনি কি বড় মডেল ট্রেনিংয়ের জন্য একাধিক RTX 4090-কে একত্রে লিঙ্ক করতে পারেন?

NVLink-এ নয়, কারণ RTX 4090 এটি সমর্থন করে না। একাধিক কার্ড PCIe মাধ্যমে যোগাযোগ করে, যা ডেটা-প্যারালাল ট্রেনিং এবং আলাদা মডেল রেপ্লিকা চালানোর জন্য ভাল কাজ করে, কিন্তু একটি বড় মডেলের টেনসর-প্যারালাল শার্ডিংয়ের জন্য GPU-গুলোর মধ্যে অকার্যকর।

RTX 4090 কি ডেটা-সেন্টার GPU-এর তুলনায় ভালো মূল্য?

২৪ জিবির মধ্যে ফিট হওয়া ওয়ার্কলোডের জন্য, হ্যাঁ। এটি অনেক বেশি দামের অ্যাক্সিলারেটরের মিক্সড-প্রিসিশন টেনসর পারফরম্যান্সের একটি বড় অংশ কম ঘণ্টার হারে দেয়, যার জন্য এটি খরচ সচেতন ট্রেনিং, ফাইন-টিউনিং, এবং ব্যাচ ইনফারেন্সের জন্য প্রিয়। যখন বেশি মেমরি, NVLink, FP64, বা এন্টারপ্রাইজ গ্যারান্টি দরকার হয় তখন এটি সেই সুবিধা হারায়।

কেন RTX 4090 ক্লাউড ক্যাপাসিটি প্রায়ই স্পট বা ইন্টারাপ্টেবল হিসেবে বিক্রি হয়?

এটি একটি উচ্চ-শক্তির কনজিউমার কার্ড যা প্রায়ই কমিউনিটি এবং স্বাধীন প্রদানকারীদের দ্বারা হোস্ট করা হয় শুধুমাত্র বড় এন্টারপ্রাইজ ক্লাউড নয়। সেই ক্যাপাসিটি প্রায়ই ইন্টারাপ্টেবল হিসেবে দেওয়া হয় যাতে দাম কম থাকে। এটি চেকপয়েন্টেড, ফল্ট-টলারেন্ট কাজের জন্য চমৎকার, কিন্তু দীর্ঘ অবিচ্ছিন্ন রানগুলোর জন্য আপনাকে নিশ্চিত করতে হবে উপরের তুলনায় অন-ডিমান্ড, নন-প্রিম্পটিবল ইনস্ট্যান্স পাওয়া যায় কিনা।