মাল্টি-নোড GPU ক্লাস্টার সহ ক্লাউড GPU প্রদানকারী

কম্পিউট ভাড়া নেওয়ার সময় মাল্টি-নোড GPU ক্লাস্টার কী বোঝায়

একটি মাল্টি-নোড সেটআপ হল এমন একটি ব্যবস্থা যেখানে একটি একক কাজ একাধিক শারীরিক সার্ভারে বিস্তৃত হয়, যেখানে প্রতিটি বক্সের GPU গুলো উচ্চ-গতির নেটওয়ার্ক ফ্যাব্রিকের মাধ্যমে অন্য বক্সের GPU গুলোর সাথে সংযুক্ত থাকে। একটি একক নোড সাধারণত চার বা আটটি GPU এর সর্বোচ্চ ধারণক্ষমতা থাকে, যা একটি মাদারবোর্ড শেয়ার করে এবং অভ্যন্তরীণভাবে NVLink বা PCIe দ্বারা সংযুক্ত থাকে। যখন আপনার মডেল, ডেটাসেট, বা সিমুলেশন আটটি GPU এবং তাদের পুল করা মেমোরির ধারণক্ষমতার বাইরে চলে যায়, তখন আপনাকে আউট স্কেল করতে হবে নোড গুলোর মধ্যে, শুধুমাত্র আপ স্কেল করার পরিবর্তে একটির মধ্যে। এই ফিল্টারে “হ্যাঁ” মানটি সেই প্রদানকারীদের চিহ্নিত করে যারা আপনাকে ঐ আন্তঃসংযুক্ত ক্লাস্টারগুলোকে একটি ইউনিট হিসেবে ভাড়া নিতে এবং পরিচালনা করতে দেয়, পরিবর্তে আপনাকে বিচ্ছিন্ন একক সার্ভার দেয় যা আপনাকে নিজে জোড়া লাগাতে হবে।

এই পার্থক্য গুরুত্বপূর্ণ কারণ ক্রস-নোড যোগাযোগই বিতরণকৃত প্রশিক্ষণ এবং বৃহৎ-পরিসরের HPC তে সবচেয়ে বড় বাধা। গ্রেডিয়েন্ট, অ্যাক্টিভেশন, এবং প্যারামিটার শার্ড গুলোকে প্রতিটি প্রশিক্ষণ ধাপে হাজার হাজার বার সার্ভারগুলোর মধ্যে স্থানান্তর করতে হয়, এবং সেই স্থানান্তরের গতি প্রায়ই নির্ধারণ করে যে আরও GPU যোগ করলে আপনার কাজ দ্রুত হয় কিনা বা শুধু খরচ বাড়ে।

কেন ইন্টারকানেক্ট আসল পণ্য

যখন আপনি একটি মাল্টি-নোড ক্লাস্টার ভাড়া নেন, তখন আপনি আসলে নোডগুলোর মধ্যে থাকা নেটওয়ার্ক ভাড়া নিচ্ছেন GPU গুলোর মতোই। প্রাসঙ্গিক ফ্যাব্রিকগুলো ক্ষমতার দিক থেকে ব্যাপকভাবে ভিন্ন:

• ইনফিনিব্যান্ড হল AI প্রশিক্ষণ ক্লাস্টারের জন্য উচ্চমানের স্ট্যান্ডার্ড, যা প্রতি পোর্টে খুব উচ্চ ব্যান্ডউইথ দেয় এবং সবচেয়ে গুরুত্বপূর্ণ, RDMA — রিমোট ডাইরেক্ট মেমোরি অ্যাক্সেস — যার মাধ্যমে একটি GPU অন্য নোডের মেমোরি CPU এর অংশগ্রহণ ছাড়াই পড়তে পারে।
• RoCE (RDMA ওভার কনভার্জড ইথারনেট) RDMA-শৈলীর আচরণ ইথারনেট হার্ডওয়্যারে নিয়ে আসে এবং বিতরণকৃত ওয়ার্কলোডের জন্য ক্লাউড ফ্যাব্রিকগুলিতে সাধারণ।
• সাধারণ TCP/IP ইথারনেট আলগা যুক্ত কাজের জন্য কাজ করে কিন্তু লেটেন্সি এবং CPU ওভারহেড যোগ করে যা ঘনিষ্ঠভাবে সিঙ্ক্রোনাইজড প্রশিক্ষণের দক্ষতাকে ধ্বংস করে।
• GPUDirect RDMA নেটওয়ার্ক কার্ডকে ডেটা সরাসরি GPU মেমোরিতে স্থানান্তর করতে দেয়, সিস্টেম RAM এর মাধ্যমে কপি এড়িয়ে যায়, যা বড় অল-রিডিউস অপারেশনগুলোকে স্কেল করতে সাহায্য করে।

একই GPU সহ দুটি ক্লাস্টার একই প্রশিক্ষণ রানেও সম্পূর্ণ ভিন্ন থ্রুপুট দিতে পারে শুধুমাত্র কারণ একটি নন-ব্লকিং ইনফিনিব্যান্ড এবং GPUDirect আছে এবং অন্যটি জ্যাম হওয়া ইথারনেটের মাধ্যমে ট্রাফিক রুট করে। এজন্য উপরের তুলনাটি নেটওয়ার্কিং দিক থেকে মনোযোগ দিয়ে পড়া উচিত শুধুমাত্র GPU গুনে নয়।

স্কেলিং দক্ষতা, কাঁচা GPU গণনার নয়

সবচেয়ে গুরুত্বপূর্ণ সংখ্যা হল স্কেলিং দক্ষতা: যদি দুইটি নোড একটির তুলনায় ১.৯ গুণ থ্রুপুট দেয়, তা চমৎকার; যদি ১.২ গুণ দেয়, অতিরিক্ত হার্ডওয়্যার মূলত যোগাযোগ ওভারহেডে নষ্ট হয়। এমন ওয়ার্কলোড যা প্রতিটি ধাপে ঘনিষ্ঠভাবে সিঙ্ক্রোনাইজ করে — বড় মডেল প্রিট্রেনিং, মডেল-প্যারালাল এবং পাইপলাইন-প্যারালাল কাজ — দুর্বল ফ্যাব্রিককে সবচেয়ে বেশি শাস্তি দেয়। সহজেই প্যারালাল কাজ, যেমন অনেক স্বাধীন ইনফারেন্স কাজ চালানো বা হাইপারপ্যারামিটার স্কুইপ, ধীর ইন্টারকানেক্ট সহ্য করে কারণ নোডগুলো প্রায়ই একে অপরের সাথে কথা বলে না।

মাল্টি-নোড আসলে কী খুলে দেয়

আন্তঃসংযুক্ত ক্লাস্টার ভাড়া নেওয়াই নিম্নলিখিত ওয়ার্কলোডগুলোকে ব্যবহারযোগ্য করে তোলে:

• বড় মডেল প্রশিক্ষণ যেখানে মডেলের প্যারামিটার, অপটিমাইজার স্টেট এবং গ্রেডিয়েন্ট একক নোডের পুল করা GPU মেমোরিতে ফিট হয় না এবং টেনসর, পাইপলাইন, বা সম্পূর্ণ শার্ডেড ডেটা প্যারালালিজম ব্যবহার করে অনেক GPU তে ভাগ করতে হয়।
• বিতরণকৃত ডেটা-প্যারালাল প্রশিক্ষণ বড় আকারে, যেখানে আপনি মডেলটি ডজন বা শত শত GPU তে প্রতিলিপি করেন যাতে প্রশিক্ষণের সময় কমে।
• ঘনিষ্ঠভাবে যুক্ত HPC এবং বৈজ্ঞানিক সিমুলেশন — যেমন তরল গতিবিদ্যা, অণু মডেলিং, আবহাওয়া — যা MPI ব্যবহার করে ক্লাস্টারের মধ্যে প্রতিটি পুনরাবৃত্তিতে ডেটা বিনিময় করে।
• বৃহৎ ব্যাচ ইনফারেন্স বা রেন্ডারিং ফার্ম যা অনেক মেশিনে কাজ ছড়িয়ে দেয়, যদিও এগুলো ফ্যাব্রিকের প্রতি কম যত্নশীল।

যদি আপনার কাজ আরামদায়কভাবে একটি আট-জি-পিইউ নোডের মধ্যে ফিট করে, মাল্টি-নোড সাধারণত অতিরিক্ত — আপনি অপ্রয়োজনীয় জটিলতা এবং নেটওয়ার্ক ওভারহেড ঝুঁকি গ্রহণ করেন কোন সুবিধা ছাড়াই। শুধুমাত্র তখনই স্কেল আউট করুন যখন মেমোরি ধারণক্ষমতা বা প্রশিক্ষণের সময় সত্যিই বাধ্য করে।

ক্লাস্টার ভাড়া নেওয়ার আগে কী পরীক্ষা করবেন

“হ্যাঁ” ট্যাগ আপনাকে বলে যে একটি প্রদানকারী মাল্টি-নোড সমর্থন করে, কিন্তু সমর্থনের গুণগত মান ব্যাপকভাবে পরিবর্তিত হয়। প্রতিশ্রুতিবদ্ধ হওয়ার আগে, উপরের তালিকার সাথে নিচের পয়েন্টগুলো তুলনা করুন:

• ফ্যাব্রিকের ধরন এবং প্রতি-নোড ব্যান্ডউইথ — এটি ইনফিনিব্যান্ড, RoCE, নাকি সাধারণ ইথারনেট, এবং RDMA / GPUDirect উপলব্ধ আছে কি?
• টপোলজি এবং স্থানীয়তা — নোডগুলো কি কাছাকাছি (একই র‍্যাক বা পড) অবস্থিত যেখানে নন-ব্লকিং ব্যান্ডউইথ আছে, নাকি একটি অঞ্চলে ছড়িয়ে আছে যেখানে লেটেন্সি বেড়ে যায়?
• অর্কেস্ট্রেশন — প্রদানকারী কি আপনাকে একটি প্রস্তুত Slurm বা Kubernetes ক্লাস্টার দেয় যার নেটওয়ার্ক ড্রাইভার এবং NCCL কনফিগার করা আছে, নাকি শুধু কাঁচা VM দেয় যা আপনাকে নিজে সংযুক্ত করতে হবে?
• প্রোভিশনিং মডেল — আপনি কি পুরো ক্লাস্টার অন-ডিমান্ড পেতে পারেন, নাকি শুধু সংরক্ষিত ক্ষমতা এবং অপেক্ষার তালিকার মাধ্যমে, কারণ বড় ধারাবাহিক ব্লকগুলো বিরল?
• পুরো কাজের জন্য বিলিং — আপনি পুরো রান জুড়ে প্রতিটি নোডের জন্য অর্থ প্রদান করেন, তাই এমন একটি ফ্যাব্রিক যা স্কেলিং দক্ষতা কমিয়ে দেয় তা সরাসরি আপনার কার্যকর খরচ বাড়ায়।
• শেয়ার্ড উচ্চ-থ্রুপুট স্টোরেজ — বিতরণকৃত কাজগুলোকে একটি সমান্তরাল ফাইল সিস্টেম দরকার যা সব নোড দ্রুত পড়তে পারে, না হলে ডেটা লোডিংই বাধা হয়ে দাঁড়ায়।

কারণ ধারাবাহিক মাল্টি-নোড ক্ষমতা একক ইনস্ট্যান্সের তুলনায় সংগ্রহ করা কঠিন, তাই উপলব্ধতা এবং অন-ডিমান্ড বনাম সংরক্ষিত শর্ত এখানে ঘন্টার হারের চেয়ে বেশি গুরুত্বপূর্ণ। বর্তমান মূল্য এবং ক্ষমতার জন্য উপরের তুলনাটি ব্যবহার করুন, এবং GPU গণনা নয়, নেটওয়ার্কিং এবং অর্কেস্ট্রেশন গুণগত মান বিবেচনা করুন।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

কখন আমি আসলে মাল্টি-নোডের প্রয়োজন, একক সার্ভারের পরিবর্তে?

আপনার কাজ তখনই প্রয়োজন যখন এটি এক নোডের GPU সংখ্যা বা পুল করা মেমোরির মধ্যে আর ফিট করে না — সাধারণত বড় মডেল প্রশিক্ষণ, শার্ডেড ফাইন-টিউনিং, বা ঘনিষ্ঠভাবে যুক্ত HPC। যদি আপনার মডেল এবং ব্যাচ একটি চার বা আট GPU বক্সের মধ্যে ফিট করে, তাহলে একক নোড সহজ, সস্তা এবং সম্পূর্ণ ক্রস-নোড ওভারহেড এড়ায়।

মাল্টি-নোড কি স্বয়ংক্রিয়ভাবে আমার প্রশিক্ষণ দ্রুত করে?

না, স্বয়ংক্রিয় নয়। গতি বৃদ্ধি নির্ভর করে স্কেলিং দক্ষতার উপর, যা ইন্টারকানেক্ট দ্বারা নিয়ন্ত্রিত। দ্রুত ইনফিনিব্যান্ড বা RoCE প্লাস RDMA সহ আপনি ভাল টিউন করা কাজগুলিতে প্রায় লিনিয়ার স্কেলিং পেতে পারেন; সাধারণ ইথারনেটের উপর, যোগাযোগ ওভারহেড অধিকাংশ লাভ খেয়ে ফেলে, তাই অতিরিক্ত নোড খরচ বাড়ায় কিন্তু প্রশিক্ষণের সময় অনুপাতে কমায় না।

উপরের তুলনায় আমি কোন নেটওয়ার্ক ফ্যাব্রিক খুঁজব?

ঘনিষ্ঠভাবে সিঙ্ক্রোনাইজড প্রশিক্ষণের জন্য, ইনফিনিব্যান্ড বা RoCE সহ GPUDirect RDMA এবং নন-ব্লকিং টপোলজি যেখানে নোডগুলো কাছাকাছি থাকে, অগ্রাধিকার দিন। আলগা যুক্ত কাজ যেমন স্বাধীন ইনফারেন্স কাজ বা প্যারামিটার স্কুইপের জন্য সাধারণ উচ্চ ব্যান্ডউইথ ইথারনেট যথেষ্ট, তাই আপনি দাম এবং উপলব্ধতাকে অগ্রাধিকার দিতে পারেন।

কেন মাল্টি-নোড ক্ষমতা অন-ডিমান্ডে ভাড়া নেওয়া কঠিন?

একটি মাল্টি-নোড ক্লাস্টারের জন্য প্রয়োজন একটি বড় ধারাবাহিক GPU ব্লক যা শারীরিকভাবে কাছাকাছি এবং একই নিম্ন-লেটেন্সি ফ্যাব্রিকে সংযুক্ত। এই ধরনের ক্ষমতা বিচ্ছিন্ন একক ইনস্ট্যান্সের থেকে কম পাওয়া যায়, তাই প্রদানকারীরা এটি সংরক্ষণ বা অপেক্ষার তালিকার পিছনে রাখে। উপলব্ধতা এবং প্রোভিশনিং শর্ত উপরের তালিকায় দেখুন, শুধু হার নয়।