জেনারেটিভ এআই-এর জন্য সেরা ক্লাউড জিপিইউসমূহ

একটি ভাড়া করা GPU থেকে জেনারেটিভ AI আসলে কী চায়

জেনারেটিভ AI একটি বিস্তৃত ক্ষেত্র। এটি অটোরিগ্রেসিভ বড় ভাষা মডেল, ডিফিউশন-ভিত্তিক ছবি এবং ভিডিও জেনারেটর, টেক্সট-টু-অডিও এবং মিউজিক মডেল, এবং ক্রমবর্ধমান মাল্টিমোডাল সিস্টেম যা একসাথে একাধিক কাজ পরিচালনা করে। সাধারণ বিষয় হল মডেলগুলো ডেটার তুলনায় বড়, এবং সংকট almost সবসময় GPU মেমরি হয়, কাঁচা কম্পিউটের পরিবর্তে। উপরের তুলনা পড়ার আগে, এই ওয়ার্কলোডের জন্য কোন মাত্রাগুলো গুরুত্বপূর্ণ তা জানা সাহায্য করে।

• VRAM ক্ষমতা নির্ধারণ করে আপনি কী লোড করতে পারেন। একটি মডেলের ওজন মেমরিতে ফিট করতে হবে সক্রিয়করণগুলোর পাশাপাশি, এবং প্রশিক্ষণের সময় অপ্টিমাইজার স্টেট এবং গ্রেডিয়েন্টস। কোয়ান্টাইজড 7B–13B প্যারামিটার মডেলের ইনফারেন্স একটি একক 24GB কার্ডে আরামদায়ক, যখন 70B মডেল উচ্চতর প্রিসিশনে সার্ভ করার জন্য আপনাকে 80GB-ক্লাস অ্যাক্সেলরেটর বা একাধিক GPU এর দিকে ঠেলে দেয়।
• মেমরি ব্যান্ডউইথ টোকেন থ্রুপুট নির্ধারণ করে। জেনারেটিভ ইনফারেন্স মেমরি-বাউন্ড: প্রতিটি জেনারেট হওয়া টোকেন মডেল ওজনগুলো কম্পিউট ইউনিটের মাধ্যমে স্ট্রিম করতে হয়, তাই HBM-ক্লাস ব্যান্ডউইথ (যেমন ডেটা-সেন্টার অ্যাক্সেলরেটরে পাওয়া যায়) একই VRAM সহ GDDR-ভিত্তিক কনজিউমার কার্ডের তুলনায় অনেক বেশি টোকেন-প্রতি-সেকেন্ড উৎপন্ন করে।
• কম-প্রিসিশন সাপোর্ট এখানে অনেক অন্যান্য ওয়ার্কলোডের তুলনায় বেশি গুরুত্বপূর্ণ। টেনসর কোর যা FP16, BF16, এবং বিশেষ করে FP8 বা INT8 ত্বরান্বিত করে, আপনাকে কম মেমরিতে বড় মডেল চালাতে এবং উচ্চ গতিতে চালাতে দেয়। FP8-সক্ষম হার্ডওয়্যার নতুন বড় মডেলগুলোর সার্ভিং এবং ট্রেনিং উভয়ের জন্য একটি গুরুত্বপূর্ণ পার্থক্যকারী।
• ইন্টারকানেক্ট তখনই সিদ্ধান্তমূলক হয় যখন একটি মডেল আর একক GPU তে ফিট না হয়। উচ্চ ব্যান্ডউইথ লিঙ্ক যেমন NVLink, এবং মাল্টি-নোড ট্রেনিংয়ের জন্য নোড-লেভেল ফ্যাব্রিক, যখন ওজনগুলো শার্ড করা হয় তখন একাধিক GPU কে খাওয়ায়। শুধুমাত্র PCIe-ভিত্তিক মাল্টি-GPU সেটআপ কাজ করে কিন্তু বড় মডেল ট্রেনিং এবং টেনসর-প্যারালাল ইনফারেন্স ধীর করে।

ওয়ার্কলোডকে সঠিক স্তরের সাথে মিলানো

“জেনারেটিভ AI” আপনার কাজের উপর নির্ভর করে অত্যন্ত বিভিন্ন ভাড়ার প্রয়োজনীয়তা জুড়ে বিস্তৃত। উপরের তালিকাটি এই দৃষ্টিকোণ থেকে পড়লে আপনি অর্থ এবং হতাশা বাঁচাতে পারবেন।

ইনফারেন্স এবং সার্ভিং

আপনি যদি একটি মডেল ব্যবহারকারীদের জন্য টেক্সট, ছবি বা অডিও তৈরি করতে ডিপ্লয় করেন, তবে আপনি প্রতি ডলারে সর্বোচ্চ মেমরি ব্যান্ডউইথ এবং মডেলসহ একটি যুক্তিসঙ্গত KV ক্যাশ (প্রতি অনুরোধ মেমরি যা প্রসঙ্গ দৈর্ঘ্যের সাথে বৃদ্ধি পায়) ধারণ করার জন্য যথেষ্ট VRAM চান। চ্যাট-স্টাইল এবং দীর্ঘ প্রসঙ্গ জেনারেশনের জন্য, KV ক্যাশ ওজনের আকারের সমান হতে পারে, তাই আপনার ইনস্ট্যান্সের আকার শুধুমাত্র মডেল ওজনের উপর নির্ভর করবেন না। INT8 বা FP8 কোয়ান্টাইজেশন আপনাকে বড় মডেল ফিট করতে বা ছোট কার্ডে আরও একযোগে অনুরোধ সার্ভ করতে দেয়। রিয়েল-টাইম, ল্যাটেন্সি-সংবেদনশীল সার্ভিংয়ের জন্য, সাধারণত একটি দ্রুত GPU প্রতি রেপ্লিকা অনেক GPU তে মডেল ছড়ানোর থেকে ভালো।

ফাইন-টিউনিং এবং অভিযোজন

অধিকাংশ দল একটি ফাউন্ডেশন মডেল কাস্টমাইজ করার সময় সম্পূর্ণ প্রশিক্ষণের পরিবর্তে প্যারামিটার-দক্ষ ফাইন-টিউনিং (LoRA/QLoRA) করে। বিশেষ করে QLoRA বেস মডেল কোয়ান্টাইজড রাখে এবং ছোট অ্যাডাপ্টার ওজন ট্রেন করে, যা VRAM এর প্রয়োজনীয়তা নাটকীয়ভাবে কমায় — বড় মডেলগুলো একটি একক 24GB–48GB কার্ডে টিউনযোগ্য হয়ে ওঠে। বড় মডেলের পূর্ণ ফাইন-টিউনিং এর বিপরীতে, অপ্টিমাইজার স্টেট এবং গ্রেডিয়েন্টস মেমরিতে থাকা প্রয়োজন, যা প্রয়োজনীয়তা কয়েক গুণ বাড়িয়ে দিতে পারে এবং আপনাকে 80GB অ্যাক্সেলরেটর বা শক্তিশালী ইন্টারকানেক্ট সহ মাল্টি-GPU নোডে ঠেলে দিতে পারে।

প্রি-ট্রেনিং এবং বড়-স্কেল ট্রেনিং

শূন্য থেকে একটি বড় জেনারেটিভ মডেল প্রশিক্ষণ সবচেয়ে চাহিদাসম্পন্ন। এটি মাল্টি-GPU এবং মাল্টি-নোড স্কেলিং দ্বারা নিয়ন্ত্রিত, তাই ইন্টারকানেক্ট ব্যান্ডউইথ, দ্রুত শেয়ার্ড স্টোরেজ ডেটা লোডারকে খাওয়ানোর জন্য, এবং নির্ভরযোগ্য উচ্চ-স্তরের অ্যাক্সেলরেটর HBM এবং FP8 সাপোর্ট সহ সবই গুরুত্বপূর্ণ। এখানে অন-ডিমান্ড উপলব্ধতা এবং অভাব একটি পরিকল্পনার বিষয় হয়ে ওঠে, এবং যেখানে কমিটেড বা রিজার্ভড ক্যাপাসিটি প্রায়শই সস্তা স্পট মূল্যের পিছনে ছুটার চেয়ে বেশি অর্থবহ।

উপরের তুলনা জেনারেটিভ AI এর জন্য কীভাবে পড়বেন

টেবিলটি লাইভ স্পেসিফিক্স পরিচালনা করে, কিন্তু এখানে আপনি যখন এটি স্ক্যান করবেন তখন কী বিবেচনা করবেন:

• প্রথমে VRAM, তারপর ব্যান্ডউইথ. এমন ইনস্ট্যান্স ফিল্টার করুন যা আপনার মডেল এবং তার KV ক্যাশ ধারণ করতে পারে, তারপর ইনফারেন্স থ্রুপুটের জন্য HBM-ক্লাস মেমরি পছন্দ করুন।
• একক বনাম মাল্টি-GPU. যদি আপনার মডেল এক GPU তে ফিট করে, একটি দ্রুত একক কার্ড সাধারণত একটি মাল্টি-GPU বক্সের চেয়ে সহজ এবং সস্তা যা আপনি পুরোপুরি ব্যবহার করতে পারবেন না। শুধুমাত্র তখনই NVLink-সংযুক্ত মাল্টি-GPU ইনস্ট্যান্সের জন্য যান যখন মডেল সত্যিই কার্ড জুড়ে বিস্তৃত।
• বিলিং গ্রানুলারিটি. জেনারেটিভ ওয়ার্কলোড প্রায়শই বিস্ফোরক — একটি ব্যাচ ইমেজ কাজ, একটি মূল্যায়ন রান, একটি অন্তর্বর্তী এন্ডপয়েন্ট। প্রতি সেকেন্ড বা প্রতি মিনিট বিলিং এবং দ্রুত ইনস্ট্যান্স বন্ধ করার ক্ষমতা আপনাকে নিষ্ক্রিয় অ্যাক্সেলরেটরের জন্য অর্থ প্রদান থেকে রক্ষা করে।
• স্পট বনাম অন-ডিমান্ড. ইন্টারাপ্টেবল ইনস্ট্যান্স ব্যাচ জেনারেশন এবং চেকপয়েন্টেড ফাইন-টিউনিংয়ের জন্য চমৎকার, যেখানে একটি বিঘ্ন কেবল রিস্টার্টের খরচ, কিন্তু একটি ব্যবহারকারী-সামনা এন্ডপয়েন্টের জন্য ঝুঁকিপূর্ণ যা চালু থাকতে হবে।
• স্টোরেজ এবং ইগ্রেস. মডেল ওজন স্থানান্তরের জন্য বড় এবং চেকপয়েন্টের জন্য স্থায়ী স্টোরেজ জমা হয়; প্রতিটি অপশন কীভাবে স্টোরেজ এবং ডেটা ট্রান্সফারের জন্য চার্জ করে তা পরীক্ষা করুন, শুধুমাত্র GPU সময় নয়।

সবচেয়ে চাহিদাসম্পন্ন অ্যাক্সেলরেটরের মূল্য এবং সরবরাহ প্রায়ই পরিবর্তিত হয়, তাই উপরের তুলনায় লাইভ তথ্যকে সত্যের উৎস হিসেবে বিবেচনা করুন এবং এখানে দেওয়া নির্দেশিকা ব্যবহার করে নির্ধারণ করুন কোন সারিগুলো তুলনা করার যোগ্য।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

জেনারেটিভ AI এর জন্য কত VRAM প্রয়োজন?

এটি মডেলের আকার এবং প্রিসিশনের উপর নির্ভর করে। কোয়ান্টাইজড মডেল 7B–13B পরিসরে 24GB কনজিউমার-ক্লাস কার্ডে চলে, মাঝারি আকারের মডেল এবং পূর্ণ-প্রিসিশন সার্ভিং 48GB কার্ড পছন্দ করে, এবং প্রায় 70B প্যারামিটার বা তার বেশি বড় মডেল সাধারণত 80GB-ক্লাস অ্যাক্সেলরেটর বা একাধিক GPU একসাথে প্রয়োজন। দীর্ঘ প্রসঙ্গ জেনারেশনের সময় KV ক্যাশের জন্য অতিরিক্ত মেমরি সবসময় বাজেট করুন।

জেনারেটিভ AI এর জন্য স্পট না অন-ডিমান্ড ইনস্ট্যান্স ব্যবহার করা উচিত?

ব্যাচ ইমেজ বা ভিডিও জেনারেশন এবং চেকপয়েন্টেড ফাইন-টিউনিংয়ের মতো ত্রুটি-সহনশীল কাজের জন্য স্পট বা ইন্টারাপ্টেবল ক্যাপাসিটি ব্যবহার করুন, যেখানে বিঘ্ন কেবল রিস্টার্টের খরচ। প্রোডাকশন ইনফারেন্স এন্ডপয়েন্ট এবং যে কোনও দীর্ঘ প্রশিক্ষণ রান যা সহজে পুনরায় শুরু করা যায় না, সেগুলোর জন্য অন-ডিমান্ড বা রিজার্ভড ক্যাপাসিটি ব্যবহার করুন, কারণ সেখানে আকস্মিক পুনরুদ্ধার অনেক বেশি বিঘ্ন ঘটায়।

আমার কি 80GB ডেটা-সেন্টার GPU দরকার, নাকি একটি কনজিউমার কার্ড চলবে?

পরীক্ষামূলক কাজ, LoRA/QLoRA ফাইন-টিউনিং, এবং ছোট থেকে মাঝারি আকারের কোয়ান্টাইজড মডেল সার্ভ করার জন্য একটি 24GB কনজিউমার-ক্লাস GPU প্রায়ই যথেষ্ট এবং ভাড়া দেওয়াও সস্তা। যখন উচ্চ মেমরি ব্যান্ডউইথ, FP8 ত্বরান্বিতকরণ, মাল্টি-GPU স্কেলিংয়ের জন্য NVLink, অথবা বড় মডেল এবং বড় ব্যাচের জন্য আরও জায়গা প্রয়োজন তখন HBM-সমর্থিত 80GB অ্যাক্সেলরেটরে আপগ্রেড করুন।

GPU সম্পূর্ণ ব্যবহার না হলেও কেন আমার টোকেন জেনারেশন ধীর?

জেনারেটিভ ইনফারেন্স সাধারণত কম্পিউটের পরিবর্তে মেমরি-ব্যান্ডউইথ বাউন্ড হয়, তাই আপনি উচ্চ টোকেন-প্রতি-সেকেন্ড সীমা দেখতে পারেন যদিও কাঁচা কম্পিউট ব্যবহার কম। সমাধান হল দ্রুত মেমরি (HBM GDDR এর পরিবর্তে), মডেলকে INT8 বা FP8 এ কোয়ান্টাইজ করা, অথবা আরও অনুরোধ একসাথে ব্যাচ করা যাতে মেমরি থেকে স্ট্রিম করা ওজন একাধিক জেনারেশন সার্ভ করে।