ইনফারেন্স ও মডেল সার্ভিংয়ের জন্য সেরা ক্লাউড জিপিইউসমূহ

একটি ভাড়া করা GPU থেকে ইনফারেন্স আসলে কী চায়

ইনফারেন্স হল একটি মডেলের সার্ভিং পর্যায়: ওজনগুলি ইতিমধ্যেই প্রশিক্ষিত, এবং প্রতিবার একজন ব্যবহারকারী একটি প্রম্পট, একটি ছবি, বা একটি অনুরোধ পাঠালে আপনি কম্পিউটের জন্য অর্থ প্রদান করেন। এটি প্রশিক্ষণের তুলনায় হার্ডওয়্যার গণনাকে সম্পূর্ণরূপে পরিবর্তন করে। প্রশিক্ষণ হল থ্রুপুট-নির্ভর এবং ঘন ক্লাস্টারে ঘণ্টা বা দিন ধরে চলে; ইনফারেন্স হল লেটেন্সি-সংবেদনশীল, বিস্ফোরক, এবং অনির্দিষ্টকালের জন্য চলে। যখন আপনি একটি মডেল সার্ভ করার জন্য GPU ভাড়া নেন, তখন আপনি একটি গ্রহণযোগ্য প্রতিক্রিয়া সময়ে প্রতি টোকেন বা প্রতি অনুরোধের খরচ অপ্টিমাইজ করছেন, দীর্ঘ কাজের জন্য কাঁচা FLOPs নয়।

সর্বাধিক গুরুত্বপূর্ণ সীমাবদ্ধতা সাধারণত মেমোরি ক্ষমতা, কম্পিউট নয়। একটি মডেলকে তার কী-ভ্যালু (KV) ক্যাশের পাশাপাশি VRAM-এ ফিট করতে হয়, যা ব্যাচ সাইজ এবং প্রসঙ্গ দৈর্ঘ্যের সাথে বৃদ্ধি পায়। বড় ভাষার মডেলের জন্য এটি প্রধান চাপ: ১৬-বিটে পরিবেশন করা একটি মডেলের জন্য প্রায় প্রতিটি প্যারামিটারের জন্য দুই বাইট প্রয়োজন শুধুমাত্র ওজনের জন্য, তাই একটি মাঝারি আকারের মডেল একটি একক মাঝারি-পরিসরের কার্ডে আরামদায়কভাবে বসতে পারে, যখন একটি ফ্রন্টিয়ার-স্কেল মডেল একাধিক GPU একত্রিত করার প্রয়োজন হতে পারে। উপরের তুলনাটি আপনাকে VRAM দ্বারা সঠিকভাবে ফিল্টার করতে দেয় যাতে আপনি একটি কার্ডকে আপনার পরিবেশন করার largest মডেলটির সাথে মিলিয়ে নিতে পারেন এবং একসঙ্গে অনুরোধের জন্য অতিরিক্ত জায়গা রাখতে পারেন।

যে স্পেসিফিকেশনগুলি ইনফারেন্সের খরচ এবং লেটেন্সি নির্ধারণ করে

• VRAM ক্ষমতা নির্ধারণ করে মডেল এবং তার KV ক্যাশ একটি GPU-তে ফিট করে কিনা বা শার্ড করতে হবে। দ্বিতীয় GPU বা হোস্ট মেমোরিতে স্পিলিং লেটেন্সি এবং জটিলতা বাড়ায়।
• মেমোরি ব্যান্ডউইথ হল টোকেন জেনারেশনের প্রকৃত বাধা। অটোরিগ্রেসিভ ডিকোডিং প্রতিটি টোকেনের জন্য সম্পূর্ণ ওজন সেট পড়ে, তাই একই কম্পিউট স্তরে উচ্চ ব্যান্ডউইথ মেমোরি (HBM-ক্লাস) GDDR-ক্লাস মেমোরির তুলনায় দ্রুত টোকেন তৈরি করে।
• কম-প্রিসিশন সাপোর্ট অত্যন্ত গুরুত্বপূর্ণ। FP8 বা INT8 টেনসর পাথ সহ কার্ডগুলি আপনাকে মডেলগুলো কোয়ান্টাইজ করতে দেয়, যার ফলে প্রতি ডলারে আরও অনুরোধ পরিবেশন করা যায় সামান্য মানের ক্ষতির সাথে। ৮-বিট বা ৪-বিট কোয়ান্টাইজেশন মেমোরি ফুটপ্রিন্টও কমিয়ে দেয়, যা প্রায়শই একটি মডেলকে সস্তা কার্ডে ফিট করতে সাহায্য করে।
• ইন্টারকানেক্ট (NVLink বনাম PCIe) শুধুমাত্র তখনই গুরুত্বপূর্ণ যখন একটি মডেল একাধিক GPU জুড়ে বিস্তৃত হয়। একক GPU পরিবেশনের জন্য এটি অপ্রাসঙ্গিক; খুব বড় মডেলের টেনসর-প্যারালাল পরিবেশনের জন্য এটি সরাসরি টোকেন লেটেন্সিতে প্রভাব ফেলে।

ব্যাচ (অফলাইন) বনাম রিয়েল-টাইম ইনফারেন্স

“ইনফারেন্স” শব্দের আড়ালে দুটি সম্পূর্ণ ভিন্ন সার্ভিং প্যাটার্ন লুকিয়ে আছে, এবং তারা ভিন্ন ভাড়া চায়।

রিয়েল-টাইম ইনফারেন্স লাইভ ব্যবহারকারীদের পরিবেশন করে: একটি চ্যাটবট, একটি API এন্ডপয়েন্ট, একটি ওয়েব অ্যাপের পিছনে একটি ইমেজ জেনারেটর। এখানে টেইল লেটেন্সি শাসন করে, GPU গুলো প্রায়শই ট্রাফিকের জন্য আংশিকভাবে নিষ্ক্রিয় থাকে, এবং আপনি একটি ইনস্ট্যান্সকে অনুরোধের মাঝখানে সরিয়ে নেওয়া সহ্য করতে পারেন না। এই প্যাটার্নটি অন-ডিমান্ড, সর্বদা-উপলব্ধ ক্ষমতা এবং একটি শক্তিশালী মেমোরি ব্যান্ডউইথ সহ কার্ডকে পছন্দ করে যাতে ছোট ব্যাচ সাইজেও প্রতি অনুরোধের লেটেন্সি কম থাকে।

ব্যাচ বা অফলাইন ইনফারেন্স একটি বড় ব্যাকলগ প্রক্রিয়াজাত করে: একটি ডেটাসেট স্কোরিং, একটি করপাসের জন্য এম্বেডিং তৈরি, এক মিলিয়ন ছবি ক্যাপশনিং। এখানে কোনো লাইভ ব্যবহারকারী নেই, তাই প্রতি আইটেম লেটেন্সি প্রায়ই গুরুত্বপূর্ণ নয় এবং আপনি বড় ব্যাচ প্যাক করতে পারেন GPU সম্পূর্ণ ব্যবহার করার জন্য। এই প্যাটার্নটি ইন্টারাপ্টেবল বা স্পট ক্ষমতার জন্য আদর্শ, কারণ যদি একটি ইনস্ট্যান্স পুনরুদ্ধার করা হয়, আপনি শুধু কিউ পুনরায় শুরু করবেন। উপরের তালিকা পড়ার সময় প্রথমে নির্ধারণ করুন আপনি এই দুই প্যাটার্নের কোনটিতে আছেন, কারণ এটি বিলিং মডেল এবং উপলব্ধতা স্তরকে যুক্তিযুক্ত করে তোলে।

কেন থ্রুপুট এবং ব্যবহার শীর্ষ FLOPs কে হারায়

কাগজে দ্বিগুণ শক্তিশালী দেখানো একটি কার্ড সাধারণত আপনার ইনফারেন্স বিলকে অর্ধেক করে না। ডিকোডিং মেমোরি-নির্ভর, তাই একটি GPU-এর বিজ্ঞাপিত শীর্ষ কম্পিউট জেনারেশনের সময় প্রায়শই কম ব্যবহৃত হয়। আপনি আসলে যা জন্য অর্থ প্রদান করেন তা হল প্রতি ডলার প্রতি সেকেন্ডে কার্যকর টোকেন আপনার প্রকৃত ব্যাচ সাইজ এবং প্রসঙ্গ দৈর্ঘ্যের অধীনে। আধুনিক সার্ভিং স্ট্যাকগুলি অব্যবহৃত ক্ষমতার অনেকটাই পুনরুদ্ধার করে ধারাবাহিক ব্যাচিং, পেজড KV ক্যাশ, এবং কোয়ান্টাইজেশনের মাধ্যমে। ভাড়া নেওয়ার সময় ব্যবহারিক শিক্ষা: একটি মাঝারি-স্তরের GPU একটি অপ্টিমাইজড সার্ভার চালালে একটি ফ্ল্যাগশিপ কার্ডের তুলনায় ভাল পারফরম্যান্স দিতে পারে যা অপ্টিমাইজড নয়, এবং একটি ছোট, সস্তা কার্ড যা এখনও আপনার মডেল ফিট করে তা স্থির ট্রাফিকের জন্য প্রায়শই খরচে সেরা হয়।

পরিবেশক বৈশিষ্ট্য যা বিশেষভাবে পরিবেশনের জন্য গুরুত্বপূর্ণ

ইনফারেন্স ক্রমাগত চলে, তাই পারিপার্শ্বিক প্ল্যাটফর্ম বৈশিষ্ট্যগুলি এককালীন প্রশিক্ষণ কাজের তুলনায় অনেক বেশি গুরুত্বপূর্ণ। উপরের অপশনগুলি তুলনা করার সময়, এই দিকগুলি পরীক্ষা করুন:

• বিলিং গ্রানুলারিটি: প্রতি সেকেন্ড বা প্রতি মিনিট বিলিং বিস্ফোরক, শূন্য-পর্যায়ে স্কেলিং সার্ভিংকে পুরস্কৃত করে; ঘন্টাব্যাপী বিলিং ট্রাফিক স্পাইকগুলির মধ্যে নিষ্ক্রিয় এন্ডপয়েন্টকে শাস্তি দেয়।
• কোল্ড-স্টার্ট এবং প্রোভিশনিং গতি: আপনি যদি চাহিদার সাথে রেপ্লিকা বাড়ান এবং কমান, তাহলে একটি নতুন GPU ইনস্ট্যান্স কত দ্রুত প্রস্তুত হয় তা সরাসরি ব্যবহারকারী-সামনা লেটেন্সি এবং আপনার অটোমেটিক স্কেলিং ক্ষমতাকে প্রভাবিত করে।
• স্থায়ী স্টোরেজ এবং ইমেজ ক্যাশিং: প্রতিবার শুরুতে বড় মডেল ওজন টানা ধীর এবং কখনও কখনও মিটার করা হয়। ক্যাশ করা ইমেজ বা সংযুক্ত ভলিউম যা ওজন ধারণ করে কোল্ড স্টার্ট অনেক কমিয়ে দেয়।
• এগ্রেস ফি: পরিবেশন ফলাফলগুলি ব্যবহারকারীদের কাছে ক্রমাগত পাঠায়। প্রশিক্ষণের জন্য অদৃশ্য প্রতি গিগাবাইট এগ্রেস উচ্চ-ভলিউম API-র জন্য একটি বাস্তব লাইন আইটেম হতে পারে।
• অন-ডিমান্ড নির্ভরযোগ্যতা বনাম স্পট মূল্য নির্ধারণ: রিয়েল-টাইম এন্ডপয়েন্ট সাধারণত গ্যারান্টিযুক্ত অন-ডিমান্ড ক্ষমতা প্রয়োজন; ব্যাচ কাজ সস্তা ইন্টারাপ্টেবল ইনস্ট্যান্স অনুসরণ করতে পারে।
• অটোমেটিক স্কেলিং এবং সার্ভারলেস অপশন: ট্রাফিক স্পাইকযুক্ত হলে শূন্য-পর্যায়ে স্কেলিং গুরুত্বপূর্ণ, যাতে আপনি রাতভর নিষ্ক্রিয় GPU-এর জন্য অর্থ প্রদান না করেন।

উপরের তুলনাটি ইনফারেন্সের জন্য কীভাবে পড়বেন

এই ক্রমে কাজ করুন। প্রথমে, সবচেয়ে বড় মডেলটি নির্ধারণ করুন যা আপনাকে পরিবেশন করতে হবে এবং নিশ্চিত করুন একটি কার্ডে পর্যাপ্ত VRAM আছে ওজন এবং KV ক্যাশের জন্য আপনার প্রত্যাশিত একসঙ্গে অনুরোধের জন্য। দ্বিতীয়ত, প্রতি ডলার প্রতি সেকেন্ডে টোকেন সর্বাধিক করতে উচ্চ মেমোরি ব্যান্ডউইথ এবং কম-প্রিসিশন (FP8/INT8) সাপোর্ট পছন্দ করুন। তৃতীয়ত, আপনার প্যাটার্ন অনুযায়ী বিলিং এবং উপলব্ধতা মডেল মিলান: লাইভ এন্ডপয়েন্টের জন্য অন-ডিমান্ড এবং সূক্ষ্ম-গ্রানুলার বিলিং, অফলাইন ব্যাচ কাজের জন্য ইন্টারাপ্টেবল ক্ষমতা। বর্তমান রেটের জন্য লাইভ টেবিল ব্যবহার করুন, কারণ প্রতি ঘণ্টার মূল্য চাহিদা এবং অভাবের সাথে পরিবর্তিত হয় এবং পরিবেশক অনুযায়ী ভিন্ন হয়; টেকসই নিয়ম হল যে সবচেয়ে সস্তা কার্ড যা আরামদায়কভাবে আপনার মডেল এবং ট্রাফিক ফিট করে প্রায়শই জিতে যায়, সবচেয়ে শক্তিশালী কার্ড নয়।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

ইনফারেন্সের জন্য একটি মডেল পরিবেশন করতে আমাকে কত GPU মেমোরি প্রয়োজন?

মডেল ওজন এবং কী-ভ্যালু ক্যাশের জন্য পরিকল্পনা করুন। ১৬-বিটে, ওজনের জন্য প্রায় প্রতিটি প্যারামিটারের জন্য দুই বাইট প্রয়োজন, এবং ৮-বিট বা ৪-বিট কোয়ান্টাইজেশন তা উল্লেখযোগ্যভাবে কমিয়ে দেয়। তারপর KV ক্যাশের জন্য অতিরিক্ত জায়গা যোগ করুন, যা ব্যাচ সাইজ এবং প্রসঙ্গ দৈর্ঘ্যের সাথে বৃদ্ধি পায়। উপরের তালিকাটি VRAM দ্বারা ফিল্টার করুন এবং এমন একটি কার্ড বেছে নিন যা মডেলটি ফিট করে এবং পর্যাপ্ত জায়গা রাখে যাতে একসঙ্গে অনুরোধ মেমোরি থেকে বাইরে ঠেলে না দেয়।

সস্তা GPU কি ইনফারেন্সের জন্য যথেষ্ট, নাকি আমাকে একটি ফ্ল্যাগশিপ কার্ড প্রয়োজন?

অনেক সার্ভিং ওয়ার্কলোডের জন্য একটি মাঝারি-পরিসরের কার্ড ভাল মান। টোকেন জেনারেশন মেমোরি ব্যান্ডউইথ দ্বারা সীমাবদ্ধ, শীর্ষ কম্পিউট নয়, তাই ফ্ল্যাগশিপ FLOPs প্রায়শই কম ব্যবহৃত হয়। যদি আপনার মডেল একটি ছোট কার্ডের VRAM-এ ফিট করে এবং একটি অপ্টিমাইজড সার্ভিং স্ট্যাক GPU-কে ব্যস্ত রাখে, তাহলে আপনি সাধারণত সবচেয়ে ব্যয়বহুল বিকল্প ভাড়া নেওয়ার চেয়ে ভাল প্রতি টোকেন খরচ পাবেন।

ইনফারেন্সের জন্য স্পট বা ইন্টারাপ্টেবল ইনস্ট্যান্স ব্যবহার করা উচিত?

এটি প্যাটার্নের উপর নির্ভর করে। অফলাইন ব্যাচ ইনফারেন্স বিরতি সহ্য করতে পারে, কারণ আপনি একটি কিউ পুনরায় শুরু করতে পারেন, যা সস্তা স্পট ক্ষমতাকে আকর্ষণীয় করে তোলে। রিয়েল-টাইম, ব্যবহারকারী-সামনা এন্ডপয়েন্ট সাধারণত গ্যারান্টিযুক্ত অন-ডিমান্ড ক্ষমতা প্রয়োজন, কারণ অনুরোধের মাঝখানে একটি ইনস্ট্যান্স পুনরুদ্ধার হলে ব্যর্থতা হয় এবং লেটেন্সি গ্যারান্টি ভেঙে যায়।

ইনফারেন্স বিলিং প্রশিক্ষণ বিলিং থেকে কীভাবে আলাদা?

প্রশিক্ষণ একটি সীমিত, থ্রুপুট-নির্ভর কাজ, যখন ইনফারেন্স ক্রমাগত চলে এবং প্রায়শই ট্রাফিক স্পাইকগুলির মধ্যে নিষ্ক্রিয় থাকে। তাই প্রতি সেকেন্ড বিলিং, দ্রুত প্রোভিশনিং, শূন্য-পর্যায়ে স্কেলিং, এবং পূর্বানুমানযোগ্য এগ্রেস খরচ সার্ভিংয়ের জন্য অনেক বেশি গুরুত্বপূর্ণ যা এককালীন প্রশিক্ষণ রান থেকে বেশি। উপরের তুলনায় এই প্ল্যাটফর্ম বৈশিষ্ট্যগুলিকে কাঁচা ঘণ্টা-ভিত্তিক GPU রেটের পাশাপাশি বিবেচনা করুন।