NVLink বা InfiniBand সহ ক্লাউড GPU প্রদানকারী

যখন আপনি মাল্টি-GPU কম্পিউট ভাড়া নেন, তখন NVLink এবং InfiniBand আসলে কী করে

NVLink এবং InfiniBand একই মৌলিক সমস্যার সমাধান করে যন্ত্রের দুই ভিন্ন দিক থেকে: GPU গুলোর মধ্যে ডেটা দ্রুত স্থানান্তর করা যাতে অ্যাক্সেলরেটরগুলো অপেক্ষা না করে বরং গণনা করতে পারে। উপরের ফিল্টারটি ক্লাউড ইনস্ট্যান্সগুলোকে সংকুচিত করে যেগুলো এক বা উভয় ইন্টারকানেক্ট এক্সপোজ করে। এগুলো পরস্পরের পরিবর্তে নয় — একটি ইন্ট্রা-নোড ফ্যাব্রিক যা একক সার্ভারের ভিতরে GPU গুলোকে যুক্ত করে, আর অন্যটি ইন্টার-নোড ফ্যাব্রিক যা সার্ভারগুলোকে ক্লাস্টারে যুক্ত করে। যেকোনো ওয়ার্কলোডের জন্য যা একাধিক GPU ছাড়িয়ে যায়, ইন্টারকানেক্ট প্রায়শই প্রায়-রৈখিক স্কেলিং এবং এমন একটি সেটআপের মধ্যে পার্থক্য যেখানে GPU যোগ করলেও খুব কম সাহায্য করে।

NVLink: এক বাক্সের ভিতরে GPU গুলোর মধ্যে দ্রুত লেন

NVLink হল NVIDIA এর সরাসরি GPU-থেকে-GPU লিঙ্ক। হোস্ট PCIe বাস এবং CPU এর মাধ্যমে ট্রাফিক রুট করার পরিবর্তে, NVLink GPU গুলোকে একে অপরের সাথে (এবং কিছু প্ল্যাটফর্মে NVSwitch ক্রসবার মাধ্যমে) সংযুক্ত করে যাতে নোডের প্রতিটি GPU উচ্চ ব্যান্ডউইথ এবং কম লেটেন্সিতে অন্য GPU এর সাথে কথা বলতে পারে। NVLink-সজ্জিত ইনস্ট্যান্স ভাড়া নিলে এর ব্যবহারিক ফলাফল হলো:

• PCIe-শুধু নোডের তুলনায় অনেক বেশি GPU-থেকে-GPU ব্যান্ডউইথ, যা গুরুত্বপূর্ণ যখন প্রতিটি ধাপে গ্রেডিয়েন্ট, অ্যাক্টিভেশন, বা মডেল শার্ড বিনিময় করতে হয়।
• GPU গুলোর মধ্যে পুল করা মেমরি — একটি GPU এর VRAM এর জন্য খুব বড় মডেল NVLink ডোমেইনে ভাগ করা যেতে পারে, যেখানে ক্রস-GPU ট্রাফিক দ্রুত ফ্যাব্রিকে থাকে, PCIe এর উপর ক্রল করে না।
• কম সিঙ্ক্রোনাইজেশন ওভারহেড যেমন অল-রিডিউসের মতো সমষ্টিগত অপারেশনের জন্য, যা ডেটা-প্যারালাল ট্রেনিংয়ে প্রধান।

NVLink একটি একক নোডের ভিতরে থাকে, তাই এর স্কোপ সাধারণত সার্ভারের ডিজাইনের উপর নির্ভর করে ২, ৪, বা ৮ GPU। উপরের তালিকার কোনো প্রোভাইডার যদি “NVLink সহ ৮-GPU নোড” বিজ্ঞাপন দেয়, তার মানে ওই আটটি কার্ড ঘনিষ্ঠভাবে যুক্ত। এটি একা বলে না যে ওই নোড অন্য নোডের সাথে কীভাবে সংযুক্ত।

InfiniBand: ফ্যাব্রিক যা অনেক সার্ভারকে এক ক্লাস্টারে পরিণত করে

InfiniBand হল একটি নেটওয়ার্কিং প্রযুক্তি যা আলাদা GPU সার্ভারগুলোকে সংযুক্ত করতে ব্যবহৃত হয়। যখন ট্রেনিং কাজ একক নোডের বাইরে চলে যায়, তখন বটলনেক বাক্সের ভিতর থেকে বাক্সের মধ্যে চলে যায়, এবং সাধারণ ইথারনেট নেটওয়ার্কিং GPU গুলোকে আটকে দিতে পারে। InfiniBand এটি খুব উচ্চ লিঙ্ক থ্রুপুট, কম এবং পূর্বানুমেয় লেটেন্সি, এবং RDMA (রিমোট ডাইরেক্ট মেমরি অ্যাক্সেস) দিয়ে সমাধান করে, যা একটি সার্ভারকে অন্য সার্ভারের মেমরি CPU ছাড়াই পড়তে বা লিখতে দেয়। GPUDirect RDMA এর সাথে মিলিয়ে, ডেটা নোডের মধ্যে GPU থেকে GPU তে স্থানান্তরিত হতে পারে হোস্ট মেমরি কপি প্রায় এড়িয়ে।

মাল্টি-নোড ট্রেনিংয়ের জন্য, এটি স্কেলিং দক্ষ রাখে। যেমন ধরুন, কয়েক ডজন বা শত শত GPU এর ক্লাস্টার একটি বড় মডেল যুক্তিসঙ্গত সময়ে ট্রেন করতে পারে কারণ ইন্টার-নোড ফ্যাব্রিক অ্যালগরিদমের প্রয়োজনীয় সমষ্টিগত যোগাযোগ বজায় রাখে। সাধারণ নেটওয়ার্কিং এলে একই কাজ তার ওয়াল-ক্লক সময়ের বড় অংশ নেটওয়ার্ক অপেক্ষায় কাটাতে পারে।

কোন ওয়ার্কলোড আসলে এটি প্রয়োজন

NVLink বা InfiniBand এর জন্য ফিল্টার করা অর্থপূর্ণ যখন যোগাযোগ, শুধুমাত্র কাঁচা কম্পিউট নয়, সমালোচনামূলক পথের অংশ:

• বড় মডেল ট্রেনিং এবং ফাইন-টিউনিং, যা প্যারামিটার, অপটিমাইজার স্টেট, বা লেয়ার GPU গুলোর মধ্যে ভাগ করে (টেনসর, পাইপলাইন, বা সম্পূর্ণ শার্ডেড ডেটা প্যারালালিজম) — এই পদ্ধতিগুলো ক্রমাগত ক্রস-GPU ট্রাফিক তৈরি করে এবং NVLink নোডের ভিতরে এবং InfiniBand নোডের মধ্যে সবচেয়ে বেশি উপকার দেয়।
• মাল্টি-নোড বিতরণকৃত ট্রেনিং, যেখানে কাজটি এক সার্ভারে ফিট করে না — এখানে InfiniBand স্কেলিং দক্ষতার জন্য নির্ধারণকারী ফ্যাক্টর।
• HPC এবং বৈজ্ঞানিক সিমুলেশন, যেখানে ঘনিষ্ঠ ইন্টার-প্রসেস যোগাযোগ থাকে, যা বছর ধরে InfiniBand এবং RDMA এর উপর নির্ভর করে আসছে।
• বড়-কনটেক্সট বা বড় মডেল ইনফারেন্স, যা একক মডেলকে একাধিক GPU তে ভাগ করে, যেখানে NVLink ক্রস-GPU অ্যাটেনশন এবং ওজন অ্যাক্সেসের লেটেন্সি জরিমানা কমায়।

এটি একক GPU কাজের জন্য প্রকৃতপক্ষে অতিরিক্ত। ছোট মডেল ফাইন-টিউনিং, এক কার্ডে ফিট করা ব্যাচ ইনফারেন্স চালানো, বেশিরভাগ রেন্ডারিং কাজ, এবং পরীক্ষা-নিরীক্ষা সবই একক GPU তে ভালো চলে। যদি আপনার কাজ কখনো GPU সীমানা অতিক্রম না করে, তাহলে ঘনিষ্ঠভাবে সংযুক্ত নোড বা InfiniBand ক্লাস্টারের জন্য প্রিমিয়াম দেওয়া কোনো লাভ দেয় না।

ভাড়া নেওয়ার আগে কী পরীক্ষা করবেন

দুটি ইন্টারকানেক্ট প্রায়ই মার্কেটিং কপিতে একত্রিত হয়, তাই উপরের তুলনার বিরুদ্ধে নির্দিষ্ট বিষয়গুলো যাচাই করুন:

• স্কোপ — নিশ্চিত করুন তালিকাটি NVLink (নোডের ভিতরে GPU সংযুক্তি) নাকি InfiniBand (নোডের মধ্যে নেটওয়ার্কিং) বোঝায়। একক-নোড ইনস্ট্যান্সে NVLink থাকতে পারে কিন্তু একটিও InfiniBand নাও থাকতে পারে।
• টপোলজি এবং প্রস্থ — NVLink ডোমেইনে কত GPU শেয়ার করে (পূর্ণ NVSwitch অল-টু-অল বনাম আংশিক ব্রিজ), এবং InfiniBand লিঙ্ক রেট এবং RDMA/GPUDirect সক্রিয় কিনা।
• জেনারেশন — নতুন GPU জেনারেশনগুলো উচ্চ ব্যান্ডউইথ NVLink বহন করে; শুধুমাত্র “NVLink” লেবেল গতি বলে না।
• মাল্টি-নোড উপলব্ধতা — আপনি আসলে একাধিক আন্তঃসংযুক্ত নোড রিজার্ভ করতে পারেন কিনা, এবং তারা একই ফ্যাব্রিকে থাকে কিনা, ডেটা সেন্টারে ছড়িয়ে না পড়ে।
• সফটওয়্যার সাপোর্ট — NCCL, MPI, এবং আপনার ফ্রেমওয়ার্ক ফ্যাব্রিকটি দেখতে এবং ব্যবহার করতে পারে; ভুল কনফিগারেশন ধীরে চলার পথে নীরবে ফিরে যায়।

মূল্য এবং উপলব্ধতার দিক থেকে, ইন্টারকানেক্ট-সমৃদ্ধ ইনস্ট্যান্সগুলো সাধারণত উচ্চ মূল্যের দিকে থাকে। NVLink-সজ্জিত মাল্টি-GPU নোড এবং InfiniBand-সংযুক্ত ক্লাস্টার প্রিমিয়াম হার্ডওয়্যার ব্যবহার করে এবং ধারাবাহিক চাহিদায় থাকে, তাই অন-ডিমান্ড ক্যাপাসিটি কম এবং স্পট বা ইন্টারাপ্টেবল অপশন একক কমোডিটি GPU এর তুলনায় কম পাওয়া যায়। বিশেষ করে মাল্টি-নোড InfiniBand বরাদ্দ প্রায়শই গেট করা, রিজার্ভ করা, বা বড় ব্লকে বিক্রি হয়। উপরের টেবিলের দামগুলো লাইভ রেফারেন্স হিসেবে বিবেচনা করুন, কারণ রেট পরিবর্তিত হয় এবং প্রোভাইডার অনুযায়ী ভিন্ন।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

আমার কি NVLink এবং InfiniBand উভয়ই প্রয়োজন?

এটি স্কেলের উপর নির্ভর করে। একক-নোড মাল্টি-GPU কাজের জন্য শুধুমাত্র NVLink প্রয়োজন। আপনার ট্রেনিং যখন একাধিক সার্ভার ছাড়িয়ে যায়, তখন আপনি সেই নোডগুলোকে সংযুক্ত করতে InfiniBand চান — দুইটি ভিন্ন স্তরে কাজ করে, তাই বড় ক্লাস্টার সাধারণত প্রতিটি বাক্সের ভিতরে NVLink এবং বাক্সগুলোর মধ্যে InfiniBand নির্ভর করে।

আমার একক-GPU ওয়ার্কলোড NVLink বা InfiniBand ইনস্ট্যান্সে দ্রুত চলবে?

না। দুই ইন্টারকানেক্টই তখনই গুরুত্বপূর্ণ যখন ডেটা GPU গুলোর মধ্যে বা নোডের মধ্যে স্থানান্তরিত হয়। এক GPU তে ফিট করা ওয়ার্কলোড কখনোই এই ফ্যাব্রিক স্পর্শ করে না, তাই আপনি এমন ক্ষমতার জন্য প্রিমিয়াম দেবেন যা ব্যবহার করতে পারবেন না। এক GPU ছাড়িয়ে স্কেলিং করার সময়ই এগুলো ফিল্টার করুন।

বড় ট্রেনিং কাজের জন্য কেন ইন্টারকানেক্ট GPU স্পেসিফিকেশনের চেয়ে বেশি গুরুত্বপূর্ণ?

বিতরণকৃত ট্রেনিং প্রতিটি ধাপের বড় অংশ গ্রেডিয়েন্ট এবং অ্যাক্টিভেশন বিনিময়ে কাটায়। যদি ফ্যাব্রিক গতি বজায় রাখতে না পারে, GPU গুলো সিঙ্ক্রোনাইজেশনের জন্য অপেক্ষা করতে করতে নিষ্ক্রিয় থাকে, এবং GPU বাড়ালে লাভ কমে যায়। দ্রুত ইন্টারকানেক্টই অ্যাক্সেলরেটর যোগ করার সাথে প্রায়-রৈখিক স্কেলিং বজায় রাখে।

প্রতিটি মাল্টি-GPU ইনস্ট্যান্সে NVLink পাওয়া যায়?

না। কিছু মাল্টি-GPU নোড তাদের কার্ডগুলো শুধুমাত্র PCIe এর মাধ্যমে সংযুক্ত করে, যার GPU-থেকে-GPU ব্যান্ডউইথ অনেক কম। একাধিক GPU থাকার মানে NVLink থাকা নয়, তাই GPU সংখ্যার থেকে ধরে নিয়ে না থেকে উপরের তুলনায় ইন্টারকানেক্ট স্পষ্টভাবে নিশ্চিত করুন।