LLM সার্ভিং ও ডিপ্লয়মেন্টের জন্য সেরা ক্লাউড GPU গুলো

একটি ভাড়া করা GPU থেকে আসলেই LLM সার্ভিং কী চায়

একটি বড় ভাষা মডেল সার্ভ করা প্রশিক্ষণের থেকে মৌলিকভাবে ভিন্ন কাজ। প্রশিক্ষণ থ্রুপুট-নির্ভর এবং বিলম্ব সহনশীল; সার্ভিং বিলম্ব-সংবেদনশীল, মেমোরি-নির্ভর এবং বিস্ফোরণশীল। যখন আপনি একটি API-এর পেছনে একটি LLM স্থাপন করতে GPU ভাড়া নেন, তখন সংকট সাধারণত কাঁচা FLOPS নয়। এটি কতটা মডেল এবং তার KV ক্যাশ আপনি VRAM-এ রাখতে পারেন, সেই মেমোরি কত দ্রুত স্ট্রিম করে, এবং কতগুলি সমসাময়িক অনুরোধ আপনি ব্যাচ করতে পারেন তার উপর নির্ভর করে, যতক্ষণ না প্রতি ব্যবহারকারীর প্রতি সেকেন্ড টোকেন সংখ্যা হ্রাস পায়।

KV ক্যাশ হল সেই অংশ যা বেশিরভাগ মানুষ কম মূল্যায়ন করে। প্রতিটি সক্রিয় অনুরোধ তার প্রসঙ্গের জন্য অ্যাটেনশন কী এবং মান সংরক্ষণ করে, এবং সেই পদচিহ্ন ক্রমের দৈর্ঘ্য এবং সমসাময়িক ব্যবহারকারীর সংখ্যার সাথে বৃদ্ধি পায়। একটি মডেল যা নিরব অবস্থায় আরামদায়কভাবে ফিট হয়, দীর্ঘ প্রম্পট সহ প্রকৃত ট্রাফিক চাপলে মেমোরি শেষ হয়ে যেতে পারে। এজন্য সার্ভিং ডিপ্লয়মেন্টগুলিতে প্রায়শই মডেল ওজনের চেয়ে বেশি VRAM হেডরুম প্রয়োজন হয়।

GPU-কে মডেলের সাথে কীভাবে সাইজ করবেন

প্রায়োগিক প্রথম প্রশ্ন হল মডেলটি একক GPU-তে ফিট করে কিনা বা একাধিক GPU-তে ভাগ করতে হবে। উপরের তুলনাটি আপনার মডেলের বিরুদ্ধে পড়ে, এই বিষয়গুলি বিবেচনা করুন:

• VRAM ক্ষমতা নির্ধারণ করে কোন মডেলগুলি ফিট হবে। FP8 বা INT8 তে কোয়ান্টাইজড ৭B–১৩B মডেল একটি একক মধ্যম-স্তরের অ্যাক্সিলারেটর থেকে সার্ভ করতে পারে, যখন BF16 তে ৭০B মডেল সাধারণত একটি উচ্চ-মেমোরি কার্ড বা একাধিক GPU নোড প্রয়োজন। খুব বড় ফ্রন্টিয়ার-ক্লাস মডেলগুলি কার্যত একাধিক শীর্ষ-স্তরের GPU একসাথে যুক্ত হওয়া প্রয়োজন।
• মেমোরি ব্যান্ডউইথ আপনার টোকেন উৎপাদনের গতি নির্ধারণ করে। অটোরিগ্রেসিভ ডিকোডিং প্রতিটি উৎপাদিত টোকেনের জন্য সম্পূর্ণ ওজন পড়ে, তাই HBM-শ্রেণীর মেমোরি (যেমন ডেটা-সেন্টার কার্ডে পাওয়া যায়) একই মডেল সাইজে GDDR-ভিত্তিক কনজিউমার কার্ডের তুলনায় অনেক দ্রুত টোকেন তৈরি করে। ইন্টারেক্টিভ চ্যাটের জন্য, ব্যান্ডউইথ প্রায়শই কম্পিউটের চেয়ে বেশি গুরুত্বপূর্ণ।
• সমর্থিত প্রিসিশন নির্ধারণ করে আপনি কতটা আগ্রাসীভাবে মডেল সংকুচিত করতে পারেন। FP8 এবং INT8 টেনসর সমর্থন সহ কার্ডগুলি আপনাকে কম VRAM-এ এবং উচ্চ থ্রুপুটে বড় মডেল সার্ভ করতে দেয়, যদি আপনার সার্ভিং স্ট্যাক এবং মডেলের কোয়ান্টাইজেশন স্কিম সামঞ্জস্যপূর্ণ হয়।
• ইন্টারকানেক্ট গুরুত্বপূর্ণ হয় যখন একটি মডেল একাধিক GPU জুড়ে বিস্তৃত হয়। টেনসর-প্যারালাল সার্ভিং প্রতিটি স্তরে GPU-গুলির মধ্যে অ্যাক্টিভেশন বিনিময় করে, তাই একটি নোডের ভিতরে NVLink-শ্রেণীর লিঙ্ক PCIe-মাত্র কনফিগারেশনের তুলনায় উল্লেখযোগ্যভাবে ভাল বিলম্ব প্রদান করে। একক GPU ডিপ্লয়মেন্টের জন্য, ইন্টারকানেক্ট অপ্রাসঙ্গিক।

একক GPU বনাম বহু GPU সার্ভিং

যদি আপনার মডেল এবং তার সর্বোচ্চ KV ক্যাশ একক GPU-তে ফিট করে, তাহলে সেটাই রাখুন। একক GPU সার্ভিং সম্পূর্ণরূপে ক্রস-ডিভাইস যোগাযোগ ওভারহেড এড়ায় এবং পরিচালনা করা সহজ। শুধুমাত্র তখনই টেনসর প্যারালালিজম বা বহু-নোড সার্ভিং এ যান যখন মডেল সত্যিই ফিট করতে না পারে, কারণ আপনি যত GPU যোগ করবেন তত সিঙ্ক্রোনাইজেশন খরচ বাড়ে এবং অটোস্কেলিং জটিল হয়। যখন বহু GPU প্রয়োজন হয়, তখন উপরের তালিকার এমন ইনস্ট্যান্সগুলি পছন্দ করুন যা উচ্চ-মেমোরি কার্ডকে দ্রুত ইন-নোড ইন্টারকানেক্টের সাথে যুক্ত করে, আলগা সংযুক্ত কার্ড একত্রিত করার পরিবর্তে।

প্রদানকারীর বৈশিষ্ট্য যা সার্ভিংয়ের জন্য গুরুত্বপূর্ণ, প্রশিক্ষণের জন্য নয়

সিলিকনের বাইরে, প্রদানকারীর অপারেশনাল মডেল নির্ধারণ করে একটি ডিপ্লয়মেন্ট কার্যকর কিনা। উপরের তুলনাটি প্রশিক্ষণ রান নয়, সার্ভিং ওয়ার্কলোডের জন্য স্ক্যান করার সময়, ভিন্নভাবে অগ্রাধিকার দিন:

• কোল্ড-স্টার্ট এবং সেটআপ সময় প্রথম-শ্রেণীর উদ্বেগ হয়ে ওঠে। একটি সার্ভিং এন্ডপয়েন্ট যা ট্রাফিক স্পাইকগুলির মধ্যে শূন্যে স্কেল করে, প্রতিটি স্কেল-আপে কোল্ড-স্টার্ট খরচ বহন করে, তাই দ্রুত প্রোভিশনিং এবং ইমেজ ক্যাশিং সরাসরি টেইল বিলম্বকে প্রভাবিত করে।
• বিলিং গ্রানুলারিটি বিস্ফোরণশীল ট্রাফিকের অর্থনীতিকে পরিবর্তন করে। প্রতি সেকেন্ড বা প্রতি মিনিট বিলিং অটোস্কেলিং এন্ডপয়েন্টের জন্য উপযুক্ত যা ইনস্ট্যান্স চালু এবং বন্ধ করে; ঘন প্রতি ঘণ্টার বিলিং সেই প্যাটার্নকে শাস্তি দেয়।
• অন-ডিমান্ড নির্ভরযোগ্যতা স্পটের উপরে সাধারণত সঠিক সিদ্ধান্ত। ইন্টারাপ্টেবল বা স্পট ইনস্ট্যান্স প্রশিক্ষণ এবং ব্যাচ কাজের জন্য চমৎকার, কিন্তু ব্যবহারকারী-সামনা এন্ডপয়েন্টের জন্য ঝুঁকিপূর্ণ, যেখানে অনুরোধের মাঝখানে পুনরুদ্ধার লাইভ ট্রাফিক হারিয়ে দেয়। স্পট এখনও নন-ইন্টারেক্টিভ ব্যাচ ইনফারেন্স ভালভাবে সার্ভ করতে পারে।
• স্থায়ী স্টোরেজ এবং দ্রুত মডেল লোডিং পুনরায় শুরু করার ব্যথা কমায়। প্রতি পুনরায় শুরুতে ঠান্ডা অবজেক্ট স্টোরেজ থেকে পুনরায় লোড হওয়া বহু-গিগাবাইট ওজন মিনিটের ডাউনটাইম যোগ করে; ক্যাশ করা বা সংযুক্ত ভলিউম তা কমায়।
• নেটওয়ার্কিং এবং এক্সিগ্রেস স্কেলে খরচ প্রভাবিত করে। উচ্চ-থ্রুপুট ইনফারেন্স অনেক ডেটা বাইরে নিয়ে যেতে পারে; উচ্চ-ট্রাফিক ডিপ্লয়মেন্টে প্রবেশ করার আগে এক্সিগ্রেস শর্তাবলী পরীক্ষা করুন।

ব্যাচ বনাম রিয়েল-টাইম, এবং খরচ কোথায় পড়ে

শুরুতেই সিদ্ধান্ত নিন আপনি কোন মোডের জন্য অপ্টিমাইজ করছেন। রিয়েল-টাইম ইন্টারেক্টিভ সার্ভিং কম প্রথম টোকেন সময় এবং প্রতি ব্যবহারকারীর টোকেনের স্থিতিশীল হারকে মূল্য দেয়, যা উচ্চ ব্যান্ডউইথ মেমোরি এবং মাঝারি ব্যাচ সাইজকে প্রাধান্য দেয়। ব্যাচ বা অফলাইন ইনফারেন্স মোট থ্রুপুটকে মূল্য দেয় এবং বড় ব্যাচগুলি সস্তা বা ইন্টারাপ্টেবল হার্ডওয়্যারে প্যাক করতে পারে, প্রতি অনুরোধ বিলম্বের বিনিময়ে প্রতি টোকেন খরচ অনেক কমায়। অনেক দল উভয়ই চালায়: লাইভ ব্যবহারকারীদের জন্য একটি প্রতিক্রিয়াশীল অন-ডিমান্ড স্তর এবং বড় উৎপাদনের জন্য স্পট-ব্যাকড ব্যাচ স্তর।

ভাড়ার খরচে, সার্ভিং পুরো স্পেকট্রামের উপর থাকে। একটি ছোট কোয়ান্টাইজড মডেল একটি মধ্যম-স্তরের কার্ডে সস্তা এবং ব্যাপকভাবে উপলব্ধ; ফ্রন্টিয়ার মডেলগুলি বহু GPU উচ্চ-মেমোরি নোডে বিরল, দামি এবং কখনও কখনও চাহিদার শিখরে ক্ষমতা-সীমাবদ্ধ। কারণ রেটগুলি ক্রমাগত পরিবর্তিত হয় এবং অঞ্চল ও কমিটমেন্ট অনুযায়ী ভিন্ন হয়, উপরের লাইভ তুলনাটি সত্যের উৎস হিসেবে বিবেচনা করুন এবং শুধুমাত্র শিরোনাম মূল্যের পরিবর্তে VRAM, ব্যান্ডউইথ শ্রেণী, ইন্টারকানেক্ট এবং বিলিং মডেল একসাথে তুলনা করুন।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

LLM সার্ভ করতে আমাকে কত VRAM প্রয়োজন?

আপনার নির্বাচিত প্রিসিশনে মডেল ওজনের জন্য বাজেট রাখুন এবং KV ক্যাশের জন্য যথেষ্ট হেডরুম রাখুন, যা প্রসঙ্গ দৈর্ঘ্য এবং সমসাময়িক ব্যবহারকারীর সাথে বৃদ্ধি পায়। একটি মোটামুটি নির্দেশিকা হিসেবে, কোয়ান্টাইজড ছোট এবং মাঝারি মডেল একটি একক মধ্যম-স্তরের কার্ড থেকে সার্ভ করে, যখন বড় মডেল উচ্চ-প্রিসিশনে একটি উচ্চ-মেমোরি কার্ড বা একাধিক GPU প্রয়োজন। সর্বদা সর্বোচ্চ সমসাময়িকতার জন্য সাইজ করুন, নিরব অবস্থার জন্য নয়।

স্পট বা ইন্টারাপ্টেবল GPU কি LLM সার্ভিংয়ের জন্য উপযুক্ত?

ব্যবহারকারী-সামনা রিয়েল-টাইম এন্ডপয়েন্টের জন্য সাধারণত না, কারণ পুনরুদ্ধার লাইভ অনুরোধ হারিয়ে দিতে পারে এবং ঠান্ডা পুনরায় শুরু বাধ্য করতে পারে। স্পট ইনস্ট্যান্স অফলাইন বা ব্যাচ ইনফারেন্সের জন্য উপযুক্ত, যেখানে বাধা শুধু থ্রুপুট বিলম্বিত করে, ইন্টারেক্টিভ সেশন ভাঙে না। অনেক দল লাইভ ট্রাফিকের জন্য অন-ডিমান্ড ক্ষমতা রাখে এবং বড় কাজের জন্য স্পট ব্যবহার করে।

সার্ভিংয়ের জন্য মেমোরি ব্যান্ডউইথ কেন কম্পিউটের চেয়ে বেশি গুরুত্বপূর্ণ?

টোকেন-বাই-টোকেন ডিকোডিং প্রতিটি টোকেন উৎপাদনের জন্য মডেলের ওজন মেমোরি থেকে পড়ে, তাই উৎপাদনের গতি নির্ভর করে GPU কত দ্রুত মেমোরি স্ট্রিম করে তার উপর, তার সর্বোচ্চ FLOPS নয়। এজন্য HBM-সজ্জিত ডেটা-সেন্টার কার্ড একই মডেল ধারণকারী কনজিউমার কার্ডের তুলনায় দ্রুত টোকেন তৈরি করে, এবং এজন্য ব্যান্ডউইথ উপরের তুলনায় একটি গুরুত্বপূর্ণ কলাম।

আমি কি একক GPU-তে সার্ভ করব নাকি একাধিক GPU-তে ভাগ করব?

যখন মডেল এবং তার সর্বোচ্চ KV ক্যাশ ফিট করে, তখন একক GPU ব্যবহার করুন, কারণ এটি ক্রস-ডিভাইস যোগাযোগ এড়ায় এবং স্কেলিং সহজ করে। শুধুমাত্র তখনই বহু GPU টেনসর প্যারালালিজমে যান যখন মডেল সত্যিই ফিট করতে না পারে, এবং যখন যান, তখন উচ্চ-মেমোরি কার্ড এবং দ্রুত ইন-নোড ইন্টারকানেক্ট যুক্ত ইনস্ট্যান্স বেছে নিন।