প্রতি ঘণ্টায় $1 এর নিচে সস্তা ক্লাউড জিপিইউ

প্রতি ঘণ্টায় $1 এর নিচের স্তরটি আসলে কী বোঝায়

$1.00 প্রতি ঘণ্টার নিচে একটি শুরু মূল্যক্লাউড GPU ভাড়ার সবচেয়ে অর্থবহ বিভাজন রেখাগুলির একটি। এটি সেই সীমা যেখানে ত্বরান্বিত কম্পিউট ভাড়া নেওয়া আর এমন একটি বাজেট সিদ্ধান্ত মনে হয় না যা আপনাকে যুক্তি দিতে হয়, বরং এটি এমন কিছু হয়ে ওঠে যা আপনি পরীক্ষা-নিরীক্ষার সময় চালিয়ে রাখতে পারেন। উপরের তুলনাটি সেই ইনস্ট্যান্সগুলিকে ফিল্টার করে যাদের প্রবেশমূল্য এই সীমা অতিক্রম করে, তবে এই সংখ্যাটি প্রাসঙ্গিক কারণ একই ডলার বিভিন্ন সরবরাহকারী কীভাবে হার্ডওয়্যার সংগ্রহ ও মূল্য নির্ধারণ করে তার উপর ভিত্তি করে ভিন্ন ভিন্ন হার্ডওয়্যার কিনতে পারে।

বুঝতে হবে মূল বিষয় হল দামটি শুরুমূল্য। এটি সাধারণত সেই তালিকাভুক্তির মধ্যে সরবরাহকারীর সবচেয়ে সস্তা উপযুক্ত কনফিগারেশন প্রতিফলিত করে: প্রায়ই একটি একক GPU, কখনও কখনও পুরানো বা কনজিউমার-গ্রেড কার্ড, প্রায়ই গ্যারান্টিযুক্ত অন-ডিমান্ডের পরিবর্তে ইন্টারাপ্টেবল বা স্পট ক্যাপাসিটির উপর। মাল্টি-GPU নোড, নতুন ডেটাসেন্টার অ্যাক্সেলেটর এবং রিজার্ভড অন-ডিমান্ড গ্যারান্টি প্রকৃত প্রতি ঘণ্টার সংখ্যাটিকে এই সীমার অনেক উপরে নিয়ে যায়। $1 প্রতি ঘণ্টার নিচের দামকে একটি প্রবেশের নীচের সীমা হিসেবে বিবেচনা করুন, পূর্ণ ওয়ার্কস্টেশন-গ্রেড রিগের দাম হিসেবে নয়।

সাধারণত এই সীমার নিচে কোন হার্ডওয়্যার থাকে

$1 প্রতি ঘণ্টার নিচে কয়েকটি পৃথক GPU শ্রেণী সাধারণত জমায়েত হয় এবং তারা খুব ভিন্নভাবে আচরণ করে:

• কনজিউমার এবং প্রোসিউমার কার্ড GDDR6 বা GDDR6X মেমোরি সহ, সাধারণত ৮ GB থেকে ২৪ GB VRAM পরিসরে। এগুলি একক GPU ইনফারেন্স, হালকা ফাইন-টিউনিং, রেন্ডারিং এবং শেখার জন্য চমৎকার মান, তবে এগুলির ডেটাসেন্টার পার্টসের উচ্চ-ব্যান্ডউইথ ইন্টারকানেক্ট নেই।
• পুরানো প্রজন্মের ডেটাসেন্টার GPU যা প্রিমিয়াম স্তর থেকে বাদ পড়েছে। এগুলিতে প্রায়ই কনজিউমার কার্ডের তুলনায় বেশি VRAM এবং ECC মেমোরি থাকে এবং ডেটাসেন্টার বৈশিষ্ট্য সমর্থন করে, যা স্থির, সাধারণ ইনফারেন্স এবং ব্যাচ কাজের জন্য আকর্ষণীয় করে তোলে।
• একটি বড় GPU এর আংশিক বা সময় ভাগ করা স্লাইস, যেখানে একটি সরবরাহকারী একটি শারীরিক অ্যাক্সেলেটরকে ভাগ করে দেয় যাতে প্রবেশমূল্য তার সম্পূর্ণ ক্ষমতার পরিবর্তে তার একটি অংশ প্রতিফলিত করে।
• মধ্যম-পরিসরের হার্ডওয়্যারের স্পট বা ইন্টারাপ্টেবল ইনস্ট্যান্স, যেখানে কম দামটি একটি ছাড় যা সরবরাহকারীর সংক্ষিপ্ত নোটিশে মেশিন পুনরুদ্ধারের অধিকার বিনিময়ে।

এই বৈচিত্র্যের কারণে, একই $1 এর নিচের দুইটি তালিকা ব্যবহারযোগ্য VRAM, মেমোরি ব্যান্ডউইথ এবং টেনসর থ্রুপুটে একাধিক গুণে ভিন্ন হতে পারে। সর্বদা উপরের টেবিলে প্রকৃত সিলিকনের পাশে দাম পড়ুন, আলাদাভাবে নয়।

এই স্তরটি কোন কাজের জন্য সত্যিই উপযুক্ত

$1 প্রতি ঘণ্টার নিচের ব্র্যাকেটটি একটি আশ্চর্যজনক পরিমাণ বাস্তব কাজের জন্য আদর্শ, যদি আপনি কাজটি হার্ডওয়্যারের সাথে মেলান:

• ছোট এবং মাঝারি মডেলের ইনফারেন্স এবং সার্ভিং, যেখানে একটি একক কার্ড যথেষ্ট VRAM সহ ওজন ধারণ করতে পারে এবং একটি যুক্তিসঙ্গত ব্যাচ বাস্তব সময় বা ব্যাচড অনুরোধগুলি আরামদায়কভাবে পরিচালনা করে।
• প্যারামিটার-দক্ষ পদ্ধতিতে ফাইন-টিউনিং যেমন LoRA এবং QLoRA, যা মেমোরি চাপ নাটকীয়ভাবে কমায় এবং ছোট কার্ডগুলোকে বড় বেস মডেলগুলোর সাথে মানিয়ে নিতে দেয়।
• প্রোটোটাইপিং, ডিবাগিং এবং নোটবুক-চালিত পরীক্ষা-নিরীক্ষা, যেখানে আপনি এমন একটি GPU চান যা যথেষ্ট সস্তায় পাওয়া যায় যাতে মিটার না দেখে পুনরাবৃত্তি করা যায়।
• রেন্ডারিং, ভিডিও এবং ইমেজ জেনারেশন পাইপলাইন যা একক GPU তে থ্রুপুট-নির্ভর, মাল্টি-কার্ড স্কেলিং এর উপর নির্ভরশীল নয়।
• শেখা এবং কোর্সওয়ার্ক, যেখানে লক্ষ্য কাঁচা পারফরম্যান্স নয়, হাতে-কলমে সময়।

এই স্তরটি যেখানে সংগ্রাম করে তা হল বড় মডেল ট্রেনিং শুরু থেকে, এমন কাজ যার ওজন এবং অ্যাক্টিভেশন একক সাশ্রয়ী কার্ডের VRAM ছাড়িয়ে যায়, এবং যেকোনো কিছু যা দ্রুত ইন্টারকানেক্ট সহ অনেক GPU একত্রিত করে। এই পরিসরের কনজিউমার কার্ডগুলি সাধারণত উচ্চ-ব্যান্ডউইথ NVLink-শ্রেণীর ফ্যাব্রিকের পরিবর্তে PCIe এর মাধ্যমে যোগাযোগ করে, তাই মাল্টি-GPU স্কেলিং দক্ষতা দ্রুত কমে যায়। যদি আপনার মডেল এই দামে এক কার্ডের মেমোরিতে না ফিট হয়, তাহলে সৎ উত্তর সাধারণত হার্ডওয়্যারের বিরুদ্ধে লড়াই না করে একটি উচ্চতর স্তরে যাওয়া।

এই স্তরটি সস্তা এবং দামী বিকল্পগুলির সাথে কীভাবে পার্থক্য করে

এই সীমার অনেক নিচে থাকা অনেক সস্তা তালিকা সাধারণত ছোট VRAM, পুরানো আর্কিটেকচার, স্পট ইন্টারাপশন উপর বেশি নির্ভরশীলতা, বা পাতলা আংশিক স্লাইস বোঝায়। এগুলি শেখার এবং সবচেয়ে হালকা ইনফারেন্সের জন্য ঠিক আছে, তবে আপনি দ্রুত মেমোরি সীমায় পৌঁছাবেন এবং সীমাবদ্ধতার চারপাশে ইঞ্জিনিয়ারিং করতে বেশি সময় ব্যয় করবেন।

$1 প্রতি ঘণ্টার উপরে উঠলে চরিত্র পরিবর্তিত হয়: আপনি বর্তমান প্রজন্মের ডেটাসেন্টার অ্যাক্সেলেটরগুলিতে পৌঁছান যার HBM-শ্রেণীর মেমোরি, অনেক বেশি ব্যান্ডউইথ, আধুনিক কম-প্রিসিশন সমর্থন যেমন FP8, এবং মাল্টি-GPU ও মাল্টি-নোড ট্রেনিংয়ের জন্য সঠিক উচ্চ-গতির ইন্টারকানেক্ট রয়েছে। সেই হার্ডওয়্যারই গুরুতর ট্রেনিং এবং বড়-পরিসরের, কম-লেটেন্সি ইনফারেন্সের জন্য প্রয়োজন। $1 এর নিচের স্তর সেখানে প্রতিযোগিতা করার চেষ্টা করে না; এটি এমন কাজের জন্য খরচ-দক্ষতার জন্য অপ্টিমাইজ করা যা একটি একক, যুক্তিসঙ্গত আকারের GPU তে ফিট করে।

প্রায়োগিক উপসংহার হল প্রথমে কাজের পরিমাণ নির্ধারণ করা। আপনার মডেল চালানোর জন্য প্রয়োজনীয় VRAM অনুমান করুন, সিদ্ধান্ত নিন আপনি ইন্টারাপশন সহ্য করতে পারেন কিনা, এবং তারপর দাম দেখুন। শুধুমাত্র সস্তা হওয়ার কারণে $1 এর নিচের ইনস্ট্যান্স বেছে নিয়ে পরে বুঝতে পারা যে এটি আপনার মডেল ধারণ করতে পারে না, এই স্তরে সবচেয়ে সাধারণ এবং এড়ানো যায় এমন ভুল।

এই দামে ভাড়া নেওয়ার আগে কী পরীক্ষা করবেন

• ব্যবহারযোগ্য VRAM এবং আপনার মডেল ও এর কাজের মেমোরি সত্যিই ফিট করে কিনা, ফ্রেমওয়ার্ক এবং ব্যাচিংয়ের জন্য অতিরিক্ত স্থান সহ।
• অন-ডিমান্ড বনাম স্পট, কারণ কম শিরোনামমূল্য প্রায়ই ইন্টারাপ্টেবল ক্যাপাসিটির সংকেত দেয় যা কাজের মাঝখানে চেকপয়েন্ট ছাড়া অদৃশ্য হতে পারে।
• বিলিং গ্রানুলারিটি, কারণ প্রতি সেকেন্ড বা প্রতি মিনিট বিলিং এই দামের পয়েন্টে দীর্ঘমেয়াদী রিজার্ভড ইনস্ট্যান্সের তুলনায় অনেক বেশি গুরুত্বপূর্ণ।
• স্টোরেজ এবং ইগ্রেস, যা আলাদাভাবে বিল করা হয় এবং ডেটা-ভারী কাজের ক্ষেত্রে GPU খরচের চেয়ে বেশি হতে পারে।
• সংখ্যাটি নীচের সীমা কিনা, কারণ তালিকাভুক্ত দাম সাধারণত একটি একক, সবচেয়ে ছোট কনফিগারেশন যা আপনি শেষ পর্যন্ত চালু করবেন তার rig নয়।

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

$1 প্রতি ঘণ্টার নিচে GPU কি বাস্তব AI কাজের জন্য যথেষ্ট শক্তিশালী?

একক GPU ইনফারেন্স, প্যারামিটার-দক্ষ ফাইন-টিউনিং, রেন্ডারিং এবং পরীক্ষা-নিরীক্ষার জন্য, হ্যাঁ। সীমাবদ্ধতা প্রায়শই কাঁচা গতি নয় বরং VRAM, তাই যতক্ষণ না আপনার মডেল নির্বাচিত প্রিসিশনে কার্ডের মেমোরিতে ফিট করে, এই স্তরটি বাস্তব উৎপাদন কাজ আরামদায়কভাবে পরিচালনা করে।

কেন $1 এর নিচের দুইটি ইনস্ট্যান্সের স্পেসিফিকেশন এত ভিন্ন?

কারণ দামটি সরবরাহকারী কীভাবে ক্যাপাসিটি সংগ্রহ করে তার প্রতিফলন, হার্ডওয়্যারের একটি নির্দিষ্ট মান নয়। একটি $1 এর নিচের তালিকা হতে পারে একটি কনজিউমার কার্ড স্থিতিশীল অন-ডিমান্ড ক্যাপাসিটিতে, অন্যটি একটি পুরানো ডেটাসেন্টার GPU, আরেকটি স্পট বা আংশিক স্লাইস। উপরের তুলনায় প্রকৃত GPU মডেল এবং VRAM এর পাশে দাম পড়ুন।

$1 এর নিচে মানে আমি কি ইন্টারাপ্টেবল স্পট ক্যাপাসিটি পাচ্ছি?

প্রায়ই, কিন্তু সবসময় নয়। অনেক নিম্নতম দাম স্পট বা প্রিম্পটেবল ইনস্ট্যান্স যা পুনরুদ্ধারের ঝুঁকির বিনিময়ে ছাড় দেয়। কিছু এন্ট্রি আসল অন-ডিমান্ড। তালিকায় উপলব্ধতার ধরন পরীক্ষা করুন এবং ইন্টারাপশন সম্ভাবনা থাকলে চেকপয়েন্টিং ব্যবহার করুন।

আমি কি আশা করব আমার চূড়ান্ত বিল এই প্রতি ঘণ্টার সংখ্যার সমান হবে?

সঠিক নয়। শুরু মূল্য সবচেয়ে ছোট কনফিগারেশনের জন্য GPU কম্পিউট কভার করে, কিন্তু স্টোরেজ, ডেটা ইগ্রেস এবং মাল্টি-GPU স্কেলিং এর জন্য অতিরিক্ত বিল করা হয়। সংক্ষিপ্ত, ঝটপট কাজের জন্য বিলিং গ্রানুলারিটি ভালো করে দেখুন যাতে আপনাকে পুরো ঘন্টায় রাউন্ড আপ করা না হয়।