ক্লাউড GPU প্রদানকারীরা Kubernetes সমর্থনসহ

ভাড়া নেওয়া GPU কম্পিউটের জন্য Kubernetes সমর্থনের অর্থ

যখন একটি ক্লাউড GPU প্রদানকারী Kubernetes সমর্থন বিজ্ঞাপন দেয়, তখন এর অর্থ আপনি Kubernetes দ্বারা পরিচালিত কন্টেইনারগুলিতে GPU ওয়ার্কলোডগুলি নির্ধারণ করতে পারেন, পরিবর্তে আলাদাভাবে ভাড়া নেওয়া মেশিনগুলিতে কাজগুলি হাতে বসানোর। বাস্তবে এটি একটি ছোট কম্পোনেন্ট স্ট্যাকের একসাথে কাজ করার উপর নির্ভর করে: NVIDIA ডিভাইস প্লাগইন (অথবা AMD এর জন্য সমতুল্য), যা GPU গুলোকে kubelet এর কাছে একটি নির্ধারিত সম্পদ হিসেবে যেমন nvidia.com/gpu হিসেবে প্রকাশ করে; NVIDIA কন্টেইনার টুলকিট দিয়ে কনফিগার করা কন্টেইনার রানটাইম যাতে কন্টেইনারগুলি ড্রাইভার দেখতে পারে; এবং আপনার ইমেজগুলির মধ্যে ড্রাইভার ও CUDA সংস্করণ মিল থাকা। অনেক প্রদানকারী NVIDIA GPU অপারেটর এর মাধ্যমে এটি প্যাকেজ করে, যা প্রতিটি নোডে ড্রাইভার, ডিভাইস প্লাগইন এবং মনিটরিং স্বয়ংক্রিয়ভাবে ইনস্টল করে, তাই আপনাকে নিজের ইমেজে ড্রাইভার বেক করতে হয় না।

উপরের তুলনায় “হ্যাঁ” বলতে দুটি ভিন্ন অর্থ থাকতে পারে, এবং এটি জানা গুরুত্বপূর্ণ আপনি কোনটি পাচ্ছেন:

• GPU নোড পুল সহ পরিচালিত Kubernetes — প্রদানকারী আপনার জন্য কন্ট্রোল প্লেন চালায় এবং GPU-সমর্থিত ওয়ার্কার নোড যোগ করতে দেয়; আপনি প্রধানত ম্যানিফেস্ট লিখেন এবং GPU সম্পদ অনুরোধ করেন।
• আপনার নিজস্ব ক্লাস্টারে যোগদানযোগ্য GPU ইনস্ট্যান্স — প্রদানকারী আপনাকে কাঁচা GPU VM বা বেয়ার মেটাল দেয়, এবং আপনি নিজে Kubernetes (অথবা k3s এর মতো একটি ডিস্ট্রিবিউশন) ইনস্টল ও পরিচালনা করেন।

উভয়ই বৈধ “Kubernetes সমর্থন,” তবে অপারেশনাল বোঝা খুব ভিন্ন। উপরের তুলনা এবং প্রদানকারীর ডকুমেন্টেশন দেখুন কন্ট্রোল প্লেন পরিচালিত কিনা বা আপনি এর জন্য দায়ী কিনা।

বাস্তব GPU ওয়ার্কফ্লোর জন্য কেন এটি গুরুত্বপূর্ণ

Kubernetes তার মূল্য দেয় GPU কাজের ক্ষেত্রে যেখানে একটি একক দীর্ঘস্থায়ী বক্সের পরিবর্তে অর্কেস্ট্রেশন প্রয়োজন:

• স্কেলে ইনফারেন্স সার্ভিং — একটি সার্ভিসের পিছনে স্বয়ংক্রিয় স্কেলিং রেপ্লিকা, ডাউনটাইম ছাড়াই নতুন মডেল সংস্করণ রোলআউট, এবং একাধিক ছোট মডেল শেয়ার করা নোডে বিন-প্যাকিং। এটি GPU-তে Kubernetes এর সবচেয়ে শক্তিশালী ব্যবহার।
• মাল্টি-নোড বিতরণকৃত প্রশিক্ষণ — ফ্রেমওয়ার্ক এবং অপারেটর (যেমন Kubeflow ট্রেনিং অপারেটর বা MPI/Volcano-স্টাইল গ্যাং শিডিউলিং) অনেক GPU নোড জুড়ে ওয়ার্কার পড সমন্বয় করে, যা গুরুত্বপূর্ণ যখন একটি একক মেশিন মডেল ধারণ করতে পারে না বা আপনি দ্রুত ওয়াল-ক্লক প্রশিক্ষণ চান।
• ব্যাচ এবং পাইপলাইন কাজ — ফাইন-টিউনিং রান, ডেটা-প্রিপ্রসেসিং, বা রেন্ডারিং Kubernetes জব হিসেবে কিউ করা, পুনরায় চেষ্টা এবং সম্পদ কোটা সহ, SSH সেশন দেখাশোনা করার পরিবর্তে।

একটি একক ইন্টারেক্টিভ নোটবুক বা এক GPU তে একটি ফাইন-টিউনিং রান এর জন্য, Kubernetes সাধারণত অতিরিক্ত যা আপনার প্রয়োজন হয় না — একটি সাধারণ ভাড়া নেওয়া ইনস্ট্যান্স SSH বা Jupyter এন্ডপয়েন্ট সহ সহজ। মান তখনই আসে যখন আপনার একাধিক ওয়ার্কলোড, একাধিক GPU, বা স্বয়ংক্রিয় পুনরুদ্ধার ও স্কেলিংয়ের প্রয়োজন হয়।

GPU শেয়ারিং এবং শিডিউলিং বৈশিষ্ট্য যা খুঁজে দেখতে হবে

সাধারণ Kubernetes একটি GPU কে একটি অবিভাজ্য পূর্ণসংখ্যার সম্পদ হিসেবে বিবেচনা করে: একটি পড এক বা একাধিক সম্পূর্ণ GPU পায়। যদি আপনার ইনফারেন্স মডেলগুলি একটি কার্ড সম্পূর্ণ ব্যবহার না করে, তবে তা অপচয়। প্রদানকারী এবং ক্লাস্টারগুলি GPU কতটা সূক্ষ্মভাবে ভাগ করতে দেয় তার ওপর নিজেদের পার্থক্য করে:

• টাইম-স্লাইসিং — ডিভাইস প্লাগইন একটি শারীরিক GPU কে একাধিক নির্ধারিত ইউনিট হিসেবে বিজ্ঞাপন দেয়, যা একাধিক পডকে সহযোগিতামূলকভাবে শেয়ার করতে দেয় (কোন কঠোর মেমরি বিচ্ছিন্নতা নেই)।
• মাল্টি-ইনস্ট্যান্স GPU (MIG) — Ampere প্রজন্ম এবং পরবর্তী ডেটা-সেন্টার কার্ডে সমর্থিত, এটি একটি GPU কে হার্ডওয়্যার বিচ্ছিন্ন ইনস্ট্যান্সে ভাগ করে দেয় যার নিজস্ব মেমরি এবং কম্পিউট স্লাইস থাকে।
• MPS (মাল্টি-প্রসেস সার্ভিস) — এক GPU তে বিভিন্ন প্রসেস থেকে একযোগে কার্নেল চালাতে দেয়, টাইম-স্লাইসিংয়ের তুলনায় কম ওভারহেড সহ।

আপনি যদি অনেক ছোট ইনফারেন্স ওয়ার্কলোড কম সংখ্যক কার্ডে প্যাক করার পরিকল্পনা করেন, তবে নিশ্চিত করুন কোনটি প্রদানকারী প্রকাশ করে, কারণ এটি সরাসরি পরিবর্তন করে আপনি কত GPU আসলে ভাড়া নিতে হবে।

ট্রেড-অফ এবং প্রতিশ্রুতি দেওয়ার আগে কি যাচাই করবেন

Kubernetes ক্ষমতা বাড়ায় কিন্তু চলমান অংশও বাড়ায়। এগুলো তুলনা করুন একটি সহজ ভাড়া নেওয়া ইনস্ট্যান্সের সাথে:

• ড্রাইভার এবং CUDA সামঞ্জস্য — আপনার কনটেইনার ইমেজের CUDA টুলকিট নোডে ইনস্টল করা ড্রাইভারের সাথে সামঞ্জস্যপূর্ণ হতে হবে। GPU অপারেটর এই সমস্যা কমায়, কিন্তু সংস্করণ মিল না হওয়াই সবচেয়ে সাধারণ কারণ পড নির্ধারণ হয় কিন্তু ক্র্যাশ করে।
• মাল্টি-নোড প্রশিক্ষণের জন্য নেটওয়ার্কিং — বিতরণকৃত কাজগুলি ব্যান্ডউইথ-সংবেদনশীল। উচ্চ-গতির ইন্টারকানেক্ট (যেমন RDMA/InfiniBand বা দ্রুত নোড-টু-নোড লিঙ্ক) এবং প্রদানকারী প্রাসঙ্গিক CNI ও ডিভাইস প্লাগইন সমর্থন করে কিনা দেখুন; সাধারণ পড নেটওয়ার্কিং সমষ্টিগত অপারেশনগুলিতে বাধা সৃষ্টি করতে পারে।
• স্টোরেজ — প্রশিক্ষণ এবং চেকপয়েন্টিং এর জন্য CSI ড্রাইভার এবং পার্সিস্টেন্ট ভলিউম প্রয়োজন, আদর্শভাবে দ্রুত শেয়ার্ড স্টোরেজ যা আপনার পডগুলি নোড জুড়ে মাউন্ট করতে পারে।
• স্পট/ইন্টারাপ্টেবল নোড — সস্তা প্রিম্পটিবল GPU নোড Kubernetes এর সাথে ভাল কাজ করে যদি আপনার ওয়ার্কলোডগুলি ইভিকশন সহ্য করতে পারে; নিশ্চিত করুন ক্লাস্টার নোড ড্রেন এবং পুনঃনির্ধারণ সুন্দরভাবে পরিচালনা করে।
• বিলিং মডেল — আপনি পড ব্যবহার করুক বা না করুক, নীচের GPU নোডগুলোর জন্য এখনও অর্থ প্রদান করতে হয়, সাথে যেকোনো পরিচালিত কন্ট্রোল-প্লেন ফি। অব্যবহৃত GPU নোড হল নীরব খরচ; শূন্য পর্যন্ত স্বয়ংক্রিয় স্কেলিং নোড পুল এর সমাধান।

উপরের তালিকা ব্যবহার করে Kubernetes-সক্ষম প্রদানকারী ফিল্টার করুন, তারপর প্রতিটির ডকুমেন্টেশন গভীরে যান ডিভাইস-প্লাগইন পদ্ধতি, GPU-শেয়ারিং অপশন, ইন্টারকানেক্ট, এবং কন্ট্রোল প্লেন পরিচালিত কিনা তা জানার জন্য। টেবিল লাইভ উপলব্ধতা এবং মূল্য নির্ধারণ করে; এই মাত্রাটি কতটা অর্কেস্ট্রেশন আপনি ভাড়া নেওয়া GPU এর জন্য পাচ্ছেন তা নিয়ে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

Kubernetes সমর্থনের অর্থ GPU নোডে ড্রাইভার ইতিমধ্যেই ইনস্টল করা আছে?

প্রায়ই, কিন্তু সবসময় নয়। যারা NVIDIA GPU অপারেটর বা প্রি-বিল্ট GPU নোড ইমেজ সরবরাহ করে তারা ড্রাইভার, কনটেইনার টুলকিট এবং ডিভাইস প্লাগইন ইনস্টল করে দেয়। অন্যরা আপনাকে খালি GPU নোড দেয় যেখানে আপনি নিজে এগুলো ইনস্টল করবেন। নিশ্চিত করুন কোন মডেল প্রযোজ্য যাতে আপনি জানেন আপনার ইমেজগুলোকে প্রি-ইনস্টলড ড্রাইভার সংস্করণের সাথে মিলাতে হবে কিনা।

Kubernetes এ GPU প্রতি একাধিক ওয়ার্কলোড চালাতে পারি?

ডিফল্টভাবে না — Kubernetes পডগুলিকে সম্পূর্ণ GPU বরাদ্দ করে। একটি কার্ড শেয়ার করতে হলে আপনাকে স্পষ্টভাবে সক্ষম বৈশিষ্ট্য যেমন টাইম-স্লাইসিং, MPS, বা হার্ডওয়্যার MIG পার্টিশনিং ব্যবহার করতে হবে। উপরের তুলনা দেখুন প্রদানকারী এগুলোর কোনটি প্রকাশ করে কিনা, এর আগে ধরে নেবেন না যে আপনি এক GPU তে একাধিক ছোট মডেল একসাথে রাখতে পারবেন।

একটি একক GPU কাজের জন্য Kubernetes কি মূল্যবান?

সাধারণত নয়। একটি নোটবুক, একটি ইনফারেন্স এন্ডপয়েন্ট, বা একটি ফাইন-টিউনিং রান এর জন্য, একটি সাধারণ ভাড়া নেওয়া ইনস্ট্যান্স SSH বা হোস্টেড Jupyter সহ সহজ এবং ক্লাস্টার ওভারহেড এড়ায়। Kubernetes তখনই লাভজনক যখন আপনার একাধিক সমসাময়িক ওয়ার্কলোড, মাল্টি-GPU বা মাল্টি-নোড প্রশিক্ষণ, স্বয়ংক্রিয় স্কেলিং ইনফারেন্স, বা স্বয়ংক্রিয় পুনরায় চেষ্টা এবং রোলআউটের প্রয়োজন হয়।

Kubernetes এ মাল্টি-নোড বিতরণকৃত প্রশিক্ষণের জন্য কি যাচাই করব?

GPU নোডগুলির মধ্যে উচ্চ-গতির ইন্টারকানেক্ট (যেমন RDMA বা InfiniBand), গ্যাং/কিউ শিডিউলিং সমর্থন যাতে সব ওয়ার্কার পড একসাথে শুরু হয়, আপনার ফ্রেমওয়ার্কের জন্য একটি ট্রেনিং অপারেটর, এবং ডেটাসেট ও চেকপয়েন্টের জন্য দ্রুত শেয়ার্ড স্টোরেজ যাচাই করুন। এগুলো ছাড়া, বিতরণকৃত কাজগুলি আংশিক শিডিউলিংয়ের জন্য অপেক্ষা করে আটকে যেতে পারে বা নেটওয়ার্ক ও স্টোরেজে জ্যাম হতে পারে, কম্পিউটের পরিবর্তে।