সার্ভারবিহীন GPU ইনফারেন্স সহ ক্লাউড GPU প্রদানকারী

ক্লাউড GPU ইনফারেন্সের জন্য “সার্ভারলেস” আসলে কী অর্থ

উপরের তুলনায় যখন কোনও প্রদানকারীকে serverless: yes ট্যাগ করা হয়, এর মানে আপনি দীর্ঘমেয়াদী ইনস্ট্যান্স ভাড়া নিয়ে পরিচালনা না করেই GPU ওয়ার্কলোড চালাতে পারেন। একটি নোড প্রোভিশন করার পরিবর্তে, সেটিকে সক্রিয় রাখা এবং প্রতিটি সেকেন্ডের জন্য অর্থ প্রদান করার পরিবর্তে, আপনি একটি কন্টেইনার বা মডেল এন্ডপয়েন্ট ডিপ্লয় করেন এবং প্ল্যাটফর্ম চাহিদা অনুযায়ী GPU ক্ষমতা বরাদ্দ করে, ট্রাফিকের সাথে সক্রিয় কর্মীদের সংখ্যা বাড়ায় বা কমায়। আপনার কোড যখন GPU-তে কার্যকরভাবে চলছে তখনই আপনাকে বিল করা হয়, প্রায়শই সেকেন্ড বা সেকেন্ডের ভগ্নাংশ পর্যন্ত, এবং যখন কোনও অনুরোধ আসে না তখন প্রায়ই শূন্যে স্কেল করা হয়।

এটি ক্লাসিক “একটি ভার্চুয়াল মেশিন চালু করুন যার সাথে একটি GPU সংযুক্ত” ভাড়া মডেল থেকে মৌলিকভাবে ভিন্ন। সার্ভারলেস স্তর হোস্টকে বিমূর্ত করে: আপনি কোনও বক্সে SSH করেন না, কার্নেল বেছে নেন না, এবং সাধারণত কোনও নির্দিষ্ট শারীরিক কার্ড পিনও করেন না। আপনি যে GPU শ্রেণির প্রয়োজন তা ঘোষণা করেন, একটি ইমেজ এবং এন্ট্রি পয়েন্ট দেন, এবং প্ল্যাটফর্ম প্লেসমেন্ট, অটোস্কেলিং এবং টিয়ারডাউন পরিচালনা করে।

কেন সার্ভারলেস বাস্তব ইনফারেন্স ওয়ার্কলোডের জন্য গুরুত্বপূর্ণ

সার্ভারলেস GPU ইনফারেন্স প্যাটার্নের উপর ভিত্তি করে তৈরি, দীর্ঘ প্রশিক্ষণ রান নয়। এটি তখনই উজ্জ্বল হয় যখন আপনার চাহিদা স্পাইকী, অনিশ্চিত, বা কম-গড় কিন্তু বিস্ফোরক হয়, যা বেশিরভাগ প্রোডাকশন AI ফিচার বর্ণনা করে:

• বিস্ফোরক API ট্রাফিক — একটি চ্যাটবট, ইমেজ জেনারেটর, বা এমবেডিং এন্ডপয়েন্ট যা রাত ৩টায় শূন্য অনুরোধ পায় এবং দুপুরে বন্যার মতো অনুরোধ আসে। আপনি শুধুমাত্র ব্যস্ত সেকেন্ডগুলোর জন্য অর্থ প্রদান করেন, ২৪/৭ একটি GPU নোড চালিয়ে রাখার পরিবর্তে।
• অনেক ছোট মডেল বা অনেক ভাড়াটে — যখন আপনি ডজন ডজন ফাইন-টিউন করা ভেরিয়েন্ট সার্ভ করেন, প্রতিটিতে একটি সর্বদা চালু GPU বরাদ্দ করা অপচয়; সার্ভারলেস খালি থাকা মডেলগুলোর জন্য কোনও খরচ করে না।
• ইভেন্ট-চালিত ব্যাচ কাজ — আপলোড করা ফাইল ট্রান্সক্রাইব করা, একটি থাম্বনেইল তৈরি করা, বা মাঝে মাঝে এমবেডিং কাজ চালানো, যেখানে একটি অনুরোধ আসে, কাজ হয়, এবং কর্মী অদৃশ্য হয়ে যায়।
• প্রোটোটাইপ এবং প্রাথমিক পর্যায়ের পণ্য — আপনি আপনার প্রকৃত ট্রাফিক আকৃতি না জেনে সংরক্ষিত ক্ষমতায় প্রতিশ্রুতিবদ্ধ হওয়া এড়ান।

অর্থনৈতিক যুক্তি সহজ: ঐতিহ্যবাহী ভাড়া আপনাকে প্রোভিশন করা সময়ের জন্য অর্থ প্রদান করায়, যখন সার্ভারলেস আপনাকে ব্যবহৃত সময়ের জন্য অর্থ প্রদান করায়। যদি আপনার GPU ব্যবহার গড়ে সম্পূর্ণরূপে কম হয়, সার্ভারলেস নাটকীয়ভাবে সস্তা হতে পারে। যদি আপনি একটি GPU প্রায় সার্বক্ষণিকভাবে সম্পূর্ণ ব্যবহার করেন, উপরের তালিকার একটি নিবেদিত বা সংরক্ষিত ইনস্ট্যান্স সাধারণত ভাল ডিল।

ট্রেড-অফ: ঠান্ডা শুরু, নিয়ন্ত্রণ এবং সীমা

স্কেল-টু-জিরো হল প্রধান সুবিধা এবং প্রধান অসুবিধার উৎস। যখন একটি কর্মী টিয়ারডাউন করা হয়, পরবর্তী অনুরোধকে একটি ঠান্ডা শুরু এর জন্য অপেক্ষা করতে হয়: প্ল্যাটফর্ম একটি GPU নির্ধারণ করে, আপনার কন্টেইনার ইমেজ টেনে আনে, মডেল ওজন VRAM-এ লোড করে এবং রানটাইম ইনিশিয়ালাইজ করে। একটি বহু-গিগাবাইট মডেলের জন্য এটি প্রথম অনুরোধে কয়েক সেকেন্ড থেকে দশকের বেশি বিলম্ব হতে পারে। বিবেচনা করার বিষয়:

• ঠান্ডা শুরু বনাম খরচ — একটি ন্যূনতম সংখ্যক উষ্ণ কর্মী রাখা ঠান্ডা শুরু দূর করে কিন্তু খালি বিলিং পুনরায় চালু করে। অনেক প্ল্যাটফর্ম “মিন রেপ্লিকা” বা ওয়ার্ম-পুল সেটিং দেয় যাতে আপনি বিলম্ব কমাতে পারেন।
• কম হার্ডওয়্যার নিয়ন্ত্রণ — আপনি সাধারণত একটি নির্দিষ্ট কার্ড সংস্করণ, NUMA বিন্যাস, বা কাস্টম ড্রাইভার নির্বাচন করতে পারেন না। আপনি একটি GPU স্তর অনুরোধ করেন এবং যা নির্ধারিত হয় তা গ্রহণ করেন।
• স্টেটলেসনেস — কর্মীরা অনুরোধের মধ্যে অদৃশ্য হতে পারে, তাই স্থানীয় ডিস্ক ক্ষণস্থায়ী। স্থায়ী অবস্থা, মডেল ক্যাশ এবং বড় ওজন সাধারণত সংযুক্ত নেটওয়ার্ক ভলিউম বা অবজেক্ট স্টোরেজে থাকে, যা প্ল্যাটফর্ম সমর্থন করে কিনা তা নিশ্চিত করা উচিত।
• কার্যকরী সীমা — সার্ভারলেস ফাংশনগুলির প্রায়ই সর্বোচ্চ অনুরোধ সময়সীমা এবং একযোগে সীমা থাকে। দীর্ঘ, বহু-ঘন্টার প্রশিক্ষণ কাজের জন্য এটি খারাপ এবং নিবেদিত ইনস্ট্যান্সে হওয়া উচিত।
• VRAM এখনও রাজত্ব করে — সার্ভারলেস এই সত্য পরিবর্তন করে না যে আপনার মডেল এবং এর KV ক্যাশ GPU-এর মেমরিতে ফিট করতে হবে। একটি সার্ভারলেস H100-শ্রেণীর কর্মী এখনও একটি H100; আপনার মডেলের জন্য প্রয়োজনীয় VRAM দ্বারা স্তর নির্বাচন করুন।

সার্ভারলেস মাত্রায় কী তুলনা করবেন

উপরের তালিকা পড়ার সময়, সার্ভারলেস ট্যাগযুক্ত প্রদানকারীরা বিনিময়যোগ্য নয়। প্রতিশ্রুতিবদ্ধ হওয়ার আগে এই নির্দিষ্ট বিষয়গুলি পরীক্ষা করুন:

1. বিলিং গ্রানুলারিটি — প্রতি সেকেন্ড সাধারণ, তবে কেউ কেউ প্রতি অনুরোধ বা প্রতি ১০০ মিলিসেকেন্ডে বিল করে; সূক্ষ্ম গ্রানুলারিটি ছোট, স্পাইকী কলের পক্ষে ভালো।
2. স্কেল-টু-জিরো আচরণ — যখন খালি থাকে তখন সত্যিই খরচ শূন্যে নেমে যায় কিনা, এবং ট্রাফিক স্পাইকের সময় কত দ্রুত আবার স্কেল আপ হয়?
3. ঠান্ডা শুরু প্রশমন — ওয়ার্ম পুল, স্ন্যাপশটিং, দ্রুত ইমেজ টানানো, বা ওজন ক্যাশিং প্রথম অনুরোধের বিলম্ব কমায়।
4. GPU স্তর সরবরাহ — উপলব্ধ কার্ডের পরিসর (এন্ট্রি-লেভেল ইনফারেন্স GPU থেকে শীর্ষ-স্তরের অ্যাক্সেলেটর পর্যন্ত) এবং প্রতি স্তরের VRAM।
5. একযোগে এবং অটোস্কেলিং নিয়ন্ত্রণ — সর্বোচ্চ কর্মী, কর্মী প্রতি অনুরোধ, এবং লোডের অধীনে কিউ আচরণ।
6. স্টোরেজ এবং নেটওয়ার্কিং — ওজনের জন্য স্থায়ী ভলিউম এবং প্ল্যাটফর্ম থেকে আউটপুট সরানোর জন্য ইগ্রেস খরচ।
7. কন্টেইনার বনাম পরিচালিত এন্ডপয়েন্ট — আপনি কি একটি ইচ্ছাকৃত ডকার ইমেজ নিয়ে আসেন বা একটি সীমাবদ্ধ, মতামতযুক্ত রানটাইমে ডিপ্লয় করেন।

সরাসরি, বর্তমান হার এবং প্রতিটি সার্ভারলেস অপশন যে GPU শ্রেণি সরবরাহ করে তার সঠিক তথ্যের জন্য, উপরের তুলনা টেবিলের উপর নির্ভর করুন, কারণ প্রতি সেকেন্ড মূল্য এবং উপলব্ধ হার্ডওয়্যার প্রায়ই পরিবর্তিত হয়।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

সার্ভারলেস GPU কি সবসময় নিবেদিত ইনস্ট্যান্স ভাড়া থেকে সস্তা?

না। সার্ভারলেস তখনই জিতবে যখন আপনার GPU বেশিরভাগ সময় খালি থাকে, কারণ কাজ না চলাকালীন আপনি অর্থ প্রদান বন্ধ করেন। যদি আপনি একটি GPU সার্বক্ষণিকভাবে ভারীভাবে ব্যবহার করেন, উপরের তালিকার একটি নিবেদিত অন-ডিমান্ড, স্পট, বা সংরক্ষিত ইনস্ট্যান্স সাধারণত কম খরচ হয় প্রতি ইউনিট কম্পিউটের জন্য, কারণ আপনি প্রতি অনুরোধ ওয়ার্ম-পুল চার্জ এড়াতে পারেন যা বিলম্ব কম রাখে।

আমি কি শুধুমাত্র ইনফারেন্স নয়, প্রশিক্ষণের জন্যও সার্ভারলেস GPU ব্যবহার করতে পারি?

সাধারণত এটি পূর্ণ প্রশিক্ষণ রানগুলোর জন্য খারাপ। সার্ভারলেস প্ল্যাটফর্মগুলো ছোট, স্টেটলেস এক্সিকিউশনের পক্ষে এবং প্রায়ই সর্বোচ্চ অনুরোধ সময়সীমা এবং একযোগে সীমা আরোপ করে, যেখানে প্রশিক্ষণের জন্য দীর্ঘমেয়াদী, স্টেটফুল নোড এবং দ্রুত বহু-GPU ইন্টারকানেক্ট প্রয়োজন। ছোট ফাইন-টিউনিং কাজ বা ব্যাচ ইনফারেন্স কাজ করতে পারে, কিন্তু বড় প্রশিক্ষণ নিবেদিত ইনস্ট্যান্সে বেশি উপযুক্ত।

ঠান্ডা শুরু কী এবং আমি কীভাবে এটি এড়াব?

ঠান্ডা শুরু হল প্রথম অনুরোধের আগে বিলম্ব যখন প্ল্যাটফর্মকে একটি GPU নির্ধারণ করতে হয়, আপনার ইমেজ টেনে আনতে হয়, এবং মডেল ওজন VRAM-এ লোড করতে হয়। আপনি এটি কমাতে পারেন ন্যূনতম সংখ্যক উষ্ণ কর্মী রেখে, ছোট বা কোয়ান্টাইজড মডেল ব্যবহার করে, ওজন একটি স্থায়ী ভলিউমে ক্যাশ করে, এবং দ্রুত ইমেজ টানানো বা স্ন্যাপশটিং সমর্থনকারী প্রদানকারী বেছে নিয়ে। এর বিনিময়ে উষ্ণ কর্মীরা কিছু খালি খরচ পুনরায় চালু করে।

সার্ভারলেস কি আমাকে নির্দিষ্ট GPU মডেল বেছে নিতে দেয়?

আপনি সাধারণত একটি নির্দিষ্ট কার্ড সংস্করণের পরিবর্তে একটি GPU স্তর বা শ্রেণি বেছে নেন। প্ল্যাটফর্ম আপনার জন্য উপযুক্ত হার্ডওয়্যার নির্ধারণ করে, তাই উপরের তুলনায় নিশ্চিত করুন যে আপনি যে সার্ভারলেস অপশনটি বেছে নিচ্ছেন তা আপনার মডেলের জন্য যথেষ্ট VRAM এবং প্রিসিশন সাপোর্ট (যেমন FP16, BF16, FP8, বা INT8) সহ একটি স্তর অফার করে।