NVLink বা InfiniBand সহ ক্লাউড GPU প্রদানকারী

যখন আপনি মাল্টি-GPU কম্পিউট ভাড়া নেন, তখন NVLink এবং InfiniBand আসলে কী করে

NVLink এবং InfiniBand একই মৌলিক সমস্যার সমাধান করে যন্ত্রের দুই ভিন্ন দিক থেকে: GPU গুলোর মধ্যে ডেটা এত দ্রুত স্থানান্তর করা যাতে অ্যাক্সেলেটরগুলো অপেক্ষা না করে, বরং তাদের সময় গণনায় ব্যয় করে। উপরের ফিল্টারটি তালিকাটি সংকুচিত করে ক্লাউড ইনস্ট্যান্সগুলোতে যা এক বা উভয় ইন্টারকানেক্ট এক্সপোজ করে। এগুলো বিনিময়যোগ্য নয় — একটি ইনট্রা-নোড ফ্যাব্রিক যা একটি একক সার্ভারের মধ্যে GPU গুলোকে সংযুক্ত করে, এবং অন্যটি ইন্টার-নোড ফ্যাব্রিক যা সার্ভারগুলোকে একটি ক্লাস্টারে সংযুক্ত করে। যেকোনো কাজের জন্য যা একাধিক GPU ছাড়িয়ে যায়, ইন্টারকানেক্ট প্রায়শই প্রায়-রৈখিক স্কেলিং এবং এমন একটি সেটআপের মধ্যে পার্থক্য তৈরি করে যেখানে GPU যোগ করলেও খুব কম সাহায্য করে।

NVLink: এক বাক্সের ভিতরে GPU গুলোর মধ্যে দ্রুত লেন

NVLink হল NVIDIA এর সরাসরি GPU-থেকে-GPU লিঙ্ক। হোস্ট PCIe বাস এবং CPU এর মাধ্যমে ট্রাফিক রুট করার পরিবর্তে, NVLink GPU গুলোকে একে অপরের সাথে (এবং কিছু প্ল্যাটফর্মে NVSwitch ক্রসবারের মাধ্যমে) সংযুক্ত করে যাতে নোডের প্রতিটি GPU উচ্চ ব্যান্ডউইথ এবং কম লেটেন্সিতে অন্য GPU এর সাথে কথা বলতে পারে। যখন আপনি NVLink-সজ্জিত ইনস্ট্যান্স ভাড়া নেন, তখন এর ব্যবহারিক ফলাফল হলো:

• PCIe-শুধুমাত্র নোডের তুলনায় অনেক বেশি GPU-থেকে-GPU ব্যান্ডউইথ, যা গুরুত্বপূর্ণ যখন প্রতিটি ধাপে গ্রেডিয়েন্ট, অ্যাক্টিভেশন বা মডেল শার্ড বিনিময় করতে হয়।
• GPU গুলোর মধ্যে পুল করা মেমরি — বাস্তবে, একটি GPU এর VRAM এর জন্য খুব বড় মডেল NVLink ডোমেইনের মধ্যে ভাগ করা যায় যেখানে ক্রস-GPU ট্রাফিক দ্রুত ফ্যাব্রিকে থাকে, PCIe এর মাধ্যমে ধীর গতিতে নয়।
• কম সিঙ্ক্রোনাইজেশন ওভারহেড যেমন অল-রিডিউসের মতো সম্মিলিত অপারেশনের জন্য, যা ডেটা-প্যারালাল ট্রেনিংয়ে প্রধান।

NVLink একটি একক নোডের ভিতরে থাকে, তাই এর স্কোপ সাধারণত ২, ৪, বা ৮ GPU হয় সার্ভারের ডিজাইনের উপর নির্ভর করে। যদি উপরের তালিকার কোনো প্রোভাইডার “NVLink সহ ৮-GPU নোড” বিজ্ঞাপন দেয়, তাহলে এর মানে ওই আটটি কার্ড ঘনিষ্ঠভাবে সংযুক্ত। এটি নিজেই কিছু বলে না যে ওই নোডটি অন্য নোডের সাথে কীভাবে সংযুক্ত।

InfiniBand: ফ্যাব্রিক যা অনেক সার্ভারকে একটি ক্লাস্টারে পরিণত করে

InfiniBand হল একটি নেটওয়ার্কিং প্রযুক্তি যা আলাদা GPU সার্ভারগুলোকে সংযুক্ত করতে ব্যবহৃত হয়। যখন ট্রেনিং কাজ একটি নোডের বাইরে চলে যায়, তখন বোতলগলাটি বাক্সের ভিতর থেকে বাক্সের মধ্যে চলে যায়, এবং সাধারণ ইথারনেট নেটওয়ার্কিং GPU গুলোকে আটকে দিতে পারে। InfiniBand এটি সমাধান করে খুব উচ্চ লিঙ্ক থ্রুপুট, কম এবং পূর্বানুমেয় লেটেন্সি, এবং RDMA (রিমোট ডাইরেক্ট মেমরি অ্যাক্সেস) এর মাধ্যমে, যা একটি সার্ভারকে অন্য সার্ভারের মেমরি পড়তে বা লিখতে দেয় CPU জড়িত না করে। GPUDirect RDMA এর সাথে মিলিয়ে, ডেটা GPU থেকে GPU তে নোডের মধ্যে চলতে পারে, হোস্ট মেমরি কপি প্রায় এড়িয়ে।

মাল্টি-নোড ট্রেনিংয়ের জন্য, এটি স্কেলিংকে কার্যকর রাখে। উদাহরণস্বরূপ, কয়েক ডজন বা শতাধিক GPU এর ক্লাস্টার একটি বড় মডেল যুক্তিসঙ্গত সময়ে ট্রেন করতে পারে কারণ ইন্টার-নোড ফ্যাব্রিক অ্যালগরিদমের সম্মিলিত যোগাযোগের সাথে তাল মিলিয়ে চলে। সাধারণ নেটওয়ার্কিং এলে একই কাজ নেটওয়ার্কের জন্য অনেক সময় অপেক্ষা করতে পারে।

কোন কাজগুলো আসলে এটি প্রয়োজন

NVLink বা InfiniBand এর জন্য ফিল্টার করা যুক্তিযুক্ত যখন যোগাযোগ, শুধুমাত্র কাঁচা কম্পিউট নয়, সমালোচনামূলক পথের অংশ:

• বড় মডেল ট্রেনিং এবং ফাইন-টিউনিং যা প্যারামিটার, অপটিমাইজার স্টেট, বা লেয়ার GPU গুলোর মধ্যে ভাগ করে (টেনসর, পাইপলাইন, বা সম্পূর্ণ শার্ডেড ডেটা প্যারালালিজম) — এই পদ্ধতিগুলো ক্রমাগত ক্রস-GPU ট্রাফিক তৈরি করে এবং নোডের ভিতরে NVLink এবং নোডের মধ্যে InfiniBand থেকে সর্বাধিক লাভ পায়।
• মাল্টি-নোড বিতরণকৃত ট্রেনিং যেখানে কাজটি এক সার্ভারে ফিট করে না — এখানে InfiniBand স্কেলিং দক্ষতার জন্য নির্ধারণকারী ফ্যাক্টর।
• HPC এবং বৈজ্ঞানিক সিমুলেশন যেখানে ঘনিষ্ঠ ইন্টার-প্রসেস যোগাযোগ থাকে, যা বছর ধরে InfiniBand এবং RDMA এর উপর নির্ভর করেছে।
• বড়-কনটেক্সট বা বড় মডেল ইনফারেন্স যা একটি মডেল একাধিক GPU তে ভাগ করে, যেখানে NVLink ক্রস-GPU অ্যাটেনশন এবং ওজন অ্যাক্সেসের লেটেন্সি জরিমানা কমায়।

এটি একক-GPU কাজের জন্য প্রকৃতপক্ষে অতিরিক্ত। একটি ছোট মডেল ফাইন-টিউন করা, একটি কার্ডে ফিট করা ব্যাচ ইনফারেন্স চালানো, বেশিরভাগ রেন্ডারিং কাজ এবং পরীক্ষা-নিরীক্ষা সবই একক GPU তে ভালো চলে। যদি আপনার কাজ কখনো GPU সীমানা পার না করে, তাহলে একটি ঘনিষ্ঠভাবে সংযুক্ত নোড বা InfiniBand ক্লাস্টারের জন্য অতিরিক্ত মূল্য দেওয়া কোনো লাভ দেয় না।

আপনি ভাড়া নেওয়ার আগে কী পরীক্ষা করবেন

দুটি ইন্টারকানেক্ট প্রায়ই মার্কেটিং কপিতে মিলিয়ে দেওয়া হয়, তাই উপরের তুলনার সাথে নির্দিষ্ট তথ্য যাচাই করুন:

• স্কোপ — নিশ্চিত করুন তালিকাটি NVLink (নোডের ভিতরে GPU সংযোগ) নাকি InfiniBand (নোডের মধ্যে নেটওয়ার্কিং) নির্দেশ করে। একটি একক-নোড ইনস্ট্যান্সে NVLink থাকতে পারে কিন্তু একদম InfiniBand নাও থাকতে পারে।
• টপোলজি এবং প্রস্থ — কতগুলো GPU NVLink ডোমেইন শেয়ার করে (পূর্ণ NVSwitch অল-টু-অল বনাম আংশিক ব্রিজ), এবং InfiniBand লিঙ্ক রেট এবং RDMA/GPUDirect সক্রিয় কিনা।
• জেনারেশন — নতুন GPU জেনারেশনগুলো উচ্চ ব্যান্ডউইথ NVLink বহন করে; শুধুমাত্র “NVLink” লেবেল গতি বলে না।
• মাল্টি-নোড উপলব্ধতা — আপনি আসলেই একাধিক সংযুক্ত নোড সংরক্ষণ করতে পারেন কিনা, এবং তারা একই ফ্যাব্রিকে থাকে কিনা, ডেটা সেন্টারে ছড়িয়ে না পড়ে।
• সফটওয়্যার সমর্থন — NCCL, MPI, এবং আপনার ফ্রেমওয়ার্ক ফ্যাব্রিকটি দেখে এবং ব্যবহার করে; ভুল কনফিগারেশন ধীরে চলার পথে নীরবভাবে ফিরে যায়।

মূল্য এবং উপলব্ধতার ক্ষেত্রে, ইন্টারকানেক্ট-সমৃদ্ধ ইনস্ট্যান্সগুলি সাধারণত উচ্চ দামের দিকে থাকে। NVLink-সজ্জিত মাল্টি-GPU নোড এবং InfiniBand-সংযুক্ত ক্লাস্টার প্রিমিয়াম হার্ডওয়্যার ব্যবহার করে এবং চাহিদায় থাকে, তাই অন-ডিমান্ড ক্যাপাসিটি কম এবং স্পট বা ইন্টারাপ্টেবল অপশন একক কমোডিটি GPU এর তুলনায় কম। বিশেষ করে মাল্টি-নোড InfiniBand বরাদ্দ প্রায়শই গেটকিপড, সংরক্ষিত বা বড় ব্লকে বিক্রি হয়। উপরের টেবিলের দামগুলোকে লাইভ রেফারেন্স হিসেবে বিবেচনা করুন, কারণ হার পরিবর্তিত হয় এবং প্রোভাইডার অনুসারে ভিন্ন হতে পারে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

আমার কি NVLink এবং InfiniBand দুইটিই প্রয়োজন?

স্কেলের উপর নির্ভর করে। একটি একক-নোড মাল্টি-GPU কাজের জন্য শুধুমাত্র NVLink প্রয়োজন। আপনার ট্রেনিং যখন একাধিক সার্ভার জুড়ে যায়, তখন আপনি সেই নোডগুলোকে সংযুক্ত করার জন্য InfiniBand ও চান — দুইটি ভিন্ন স্তরে কাজ করে, তাই একটি বড় ক্লাস্টার সাধারণত প্রতিটি বাক্সের ভিতরে NVLink এবং বাক্সগুলোর মধ্যে InfiniBand নির্ভর করে।

আমার একক-GPU কাজ কি NVLink বা InfiniBand ইনস্ট্যান্সে দ্রুত চলবে?

না। দুই ইন্টারকানেক্টই তখনই গুরুত্বপূর্ণ যখন ডেটা GPU গুলোর মধ্যে বা নোড গুলোর মধ্যে চলে। একটি কাজ যা এক GPU তে ফিট করে, তা কোনো ফ্যাব্রিক স্পর্শ করে না, তাই আপনি এমন ক্ষমতার জন্য অতিরিক্ত মূল্য দেবেন যা ব্যবহার করতে পারবেন না। এক GPU এর বেশি স্কেলিং করার সময়ই এগুলো ফিল্টার করুন।

বড় ট্রেনিং কাজের জন্য কেন ইন্টারকানেক্ট প্রতি-GPU স্পেসিফিকেশনের চেয়ে বেশি গুরুত্বপূর্ণ?

বিতরণকৃত ট্রেনিং প্রতিটি ধাপে গ্রেডিয়েন্ট এবং অ্যাক্টিভেশন বিনিময়ে অনেক সময় ব্যয় করে। যদি ফ্যাব্রিক তাল মিলিয়ে না চলে, GPU গুলো সিঙ্ক্রোনাইজেশনের জন্য অপেক্ষা করতে করতে নিষ্ক্রিয় থাকে, এবং GPU যোগ করলেও লাভ কমে যায়। একটি দ্রুত ইন্টারকানেক্টই স্কেলিং প্রায়-রৈখিক রাখে যখন আপনি অ্যাক্সেলেটর যোগ করেন।

প্রতিটি মাল্টি-GPU ইনস্ট্যান্সে NVLink পাওয়া যায়?

না। কিছু মাল্টি-GPU নোড শুধুমাত্র PCIe এর মাধ্যমে তাদের কার্ডগুলো সংযুক্ত করে, যার GPU-থেকে-GPU ব্যান্ডউইথ অনেক কম। একাধিক GPU থাকার মানে NVLink থাকার নিশ্চয়তা নয়, তাই GPU সংখ্যার থেকে ধরে নেওয়ার পরিবর্তে উপরের তুলনায় ইন্টারকানেক্ট স্পষ্টভাবে নিশ্চিত করুন।