কৃত্রিম বুদ্ধিমত্তা মডেল প্রশিক্ষণের জন্য সেরা ক্লাউড GPU

একটি ভাড়া করা GPU থেকে আসলেই কী চায় AI মডেল ট্রেনিং

ট্রেনিং হল মেশিন লার্নিং লাইফসাইকেলের সবচেয়ে বেশি সম্পদ-খরচী ধাপ। ইনফারেন্সের থেকে আলাদা, যা প্রতি অনুরোধে একটি সম্পন্ন মডেল একবার এগিয়ে চালায়, ট্রেনিং বারবার ডেটার ব্যাচ নেটওয়ার্কের মাধ্যমে সামনে এবং পিছনে পাঠায়, গ্রেডিয়েন্ট গণনা করে এবং অনেক এপোকের মাধ্যমে কোটি কোটি প্যারামিটার আপডেট করে। এই পুনরাবৃত্তিমূলক, দীর্ঘমেয়াদী, মেমোরি-ভারী প্যাটার্নই একটি ভালো ট্রেনিং ভাড়া এবং শুধুমাত্র সস্তা ভাড়ার মধ্যে পার্থক্য তৈরি করে। উপরের তুলনাটি এই কাজের জন্য উপযুক্ত ইনস্ট্যান্সগুলিতে ফিল্টার করা হয়েছে, কিন্তু কেন তারা যোগ্য তা জানা আপনাকে এটি সঠিকভাবে পড়তে সাহায্য করে।কেন তারা যোগ্য তা জানা আপনাকে এটি সঠিকভাবে পড়তে সাহায্য করে।

আপনি যখন ট্রেনিং করেন, GPU কে মডেল ওজনের চেয়ে অনেক বেশি কিছু ধরে রাখতে হয়। এটি একসাথে ব্যাকওয়ার্ড পাসের জন্য অ্যাক্টিভেশন, গ্রেডিয়েন্ট এবং অপটিমাইজার স্টেট সংরক্ষণ করে। Adam-এর মতো সাধারণ অপটিমাইজারগুলির ক্ষেত্রে, সেই অপটিমাইজার স্টেট ওজনের মেমোরি প্রায় তিনগুণ বাড়িয়ে দিতে পারে, কারণ এটি প্যারামিটার ছাড়াও মোমেন্টাম এবং ভ্যারিয়েন্স টার্ম ট্র্যাক করে। এটি একমাত্র সবচেয়ে বড় কারণ যে একটি কার্ড একটি নির্দিষ্ট মডেলের জন্য ইনফারেন্স আরামদায়কভাবে চালাতে পারলেও আপনি যখন সেটি ফাইন-টিউন বা প্রি-ট্রেন করার চেষ্টা করেন তখন তা মেমোরি শেষ হয়ে যেতে পারে।

ট্রেনিংয়ের জন্য সবচেয়ে গুরুত্বপূর্ণ স্পেসিফিকেশনগুলি

• VRAM ক্ষমতা হল কঠিন বাধা। এটি নির্ধারণ করে আপনি সবচেয়ে বড় মডেল এবং ব্যাচ সাইজ কত বড় রাখতে পারেন, তার আগে আপনাকে গ্রেডিয়েন্ট চেকপয়েন্টিং, অফলোডিং বা একাধিক GPU-তে শার্ডিং করতে হবে। উচ্চ-ব্যান্ডউইথ মেমোরি (HBM) সহ ডেটাসেন্টার অ্যাক্সেলরেটরগুলি ভোক্তা কার্ডের তুলনায় অনেক বেশি VRAM বহন করে, এজন্যই গুরুতর ট্রেনিং তাদের দিকে ঝুঁকে পড়ে।
• মেমোরি ব্যান্ডউইথ কম্পিউট ইউনিটগুলিকে খাওয়ায় রাখে। ট্রেনিং প্রায়শই মেমোরি-বাউন্ড হয়, তাই HBM-শ্রেণীর ব্যান্ডউইথ প্রকৃত থ্রুপুটের জন্য কাঁচা শীর্ষ FLOPS থেকে বেশি গুরুত্বপূর্ণ। ব্যান্ডউইথের অভাবে একটি কার্ড তার টেনসর কোরগুলোকে নিষ্ক্রিয় রেখে দেয়।
• কম-প্রিসিশন সাপোর্ট সরাসরি গতি বাড়ায়। টেনসর কোর FP16 এবং BF16 ত্বরান্বিত করে, এবং নতুন আর্কিটেকচার FP8 যোগ করে। BF16 বিশেষ করে ট্রেনিংয়ের জন্য মূল্যবান কারণ এর বিস্তৃত এক্সপোনেন্ট রেঞ্জ FP16-র ওভারফ্লো এবং আন্ডারফ্লো থেকে রক্ষা করে, যা মিক্সড-প্রিসিশন রানকে আরও স্থিতিশীল করে তোলে।
• ইন্টারকানেক্ট নির্ধারণ করে আপনি এক GPU ছাড়িয়ে কত ভালো স্কেল করতে পারেন। একটি নোডের মধ্যে কার্ডগুলোর মধ্যে NVLink এবং নোডগুলোর মধ্যে InfiniBand-এর মতো উচ্চ-গতির ফ্যাব্রিক নির্ধারণ করে গ্রেডিয়েন্ট সিঙ্ক্রোনাইজেশন বটলনেক হবে কিনা। শুধুমাত্র PCIe-ভিত্তিক মাল্টি-GPU সেটআপ বিতরণকৃত ট্রেনিংয়ের সময় যোগাযোগে বিলম্ব ঘটাতে পারে।

সিঙ্গেল-GPU, মাল্টি-GPU, এবং মাল্টি-নোড ট্রেনিং

প্রত্যেক ট্রেনিং কাজই ক্লাস্টার প্রয়োজন হয় না। ভাড়ার পরিমাণ কাজের পরিমাণের সাথে মিলিয়ে নিন:

• সিঙ্গেল GPU ছোট মডেল, প্যারামিটার-কার্যকর ফাইন-টিউনিং (যেমন LoRA-স্টাইল অ্যাডাপ্টার), এবং বেশিরভাগ পরীক্ষার জন্য যথেষ্ট। এখানে আপনি যত বড় VRAM যুক্তিযুক্তভাবে নিতে পারেন তত বড় নিন যাতে মাইক্রো-ব্যাচিং ওয়ার্কঅ্যারাউন্ড এড়ানো যায়।
• এক নোডে মাল্টি-GPU পূর্ণ ফাইন-টিউন এবং মাঝারি আকারের মডেলের জন্য উপযুক্ত। ডেটা প্যারালালিজম মডেলটি প্রতিলিপি করে এবং ব্যাচ ভাগ করে; এখানে NVLink তার মূল্য রাখে কারণ এটি কার্ডগুলোর মধ্যে গ্রেডিয়েন্ট গড় করার জন্য অল-রিডিউস ধাপকে দ্রুত করে।
• মাল্টি-নোড ক্লাস্টার বড় প্রি-ট্রেনিংয়ের জন্য প্রয়োজন, যেখানে মডেল নিজেই টেনসর, পাইপলাইন, বা সম্পূর্ণ শার্ডেড ডেটা প্যারালালিজমের মাধ্যমে শার্ড করা হয়। এই পরিসরে, নোডগুলোর মধ্যে নেটওয়ার্কিং ব্যান্ডউইথ এবং টপোলজি GPU-র মতোই গুরুত্বপূর্ণ হয়ে ওঠে, এবং ধীর ফ্যাব্রিক হার্ডওয়্যার বাড়ানোর সুবিধা মুছে দিতে পারে।

প্রোভাইডার বৈশিষ্ট্য যা ট্রেনিং রান সফল বা ব্যর্থ করে

হার্ডওয়্যার কেবল সিদ্ধান্তের অর্ধেক। দীর্ঘ ট্রেনিং কাজগুলি অপারেশনাল বিবরণ উন্মোচন করে যা ছোট ইনফারেন্স কাজ কখনো স্পর্শ করে না:

• স্টোরেজ থ্রুপুট গুরুত্বপূর্ণ কারণ ডেটা পাইপলাইন GPU-কে বাধা ছাড়াই খাওয়াতে হবে। বড় ডেটাসেটের জন্য দ্রুত, স্থায়ী স্টোরেজ কম্পিউটের কাছে থাকা দরকার; ধীর ডিস্ক বা দূরবর্তী বালতি অন্যথায় সক্ষম GPU-কে থ্রোটল করতে পারে।
• স্পট বনাম অন-ডিমান্ড ট্রেনিংয়ের জন্য একটি প্রকৃত ট্রেড-অফ। ইন্টারাপ্টযোগ্য ইনস্ট্যান্সগুলি খরচ অনেক কমায়, কিন্তু রান মাঝপথে বন্ধ হয়ে গেলে unless আপনি নিয়মিত চেকপয়েন্ট করেন এবং পরিষ্কারভাবে পুনরায় শুরু করতে পারেন, অগ্রগতি নষ্ট হয়। অন-ডিমান্ড বা রিজার্ভড ক্ষমতা এমন কাজের জন্য নির্ভরযোগ্যতা দেয় যা আপনি হারাতে পারবেন না।
• চেকপয়েন্টিং সাপোর্ট এবং স্থায়ী ভলিউম আপনাকে বিঘ্ন থেকে বাঁচায়, ফলাফল পরিদর্শনের জন্য বিরতি দেয়, এবং সবকিছু পুনরায় আপলোড না করেই পুনরায় শুরু করতে দেয়। এটি বহুদিনের রানগুলির জন্য অপরিহার্য।
• বিলিং গ্রানুলারিটি মোট খরচ প্রভাবিত করে। প্রতি সেকেন্ড বা প্রতি মিনিট বিলিং সংক্ষিপ্ত, পুনরাবৃত্তিমূলক পরীক্ষাকে পুরস্কৃত করে, যখন ঘন্টাভিত্তিক মোটা রাউন্ডিং উন্নয়নের সময় ঘন ঘন শুরু-বন্ধ চক্রকে শাস্তি দেয়।
• মাল্টি-GPU এবং মাল্টি-নোড উপলব্ধতা আগেই নিশ্চিত করা উচিত। এক নোডে আটটি কার্ড বা একাধিক ইন্টারকানেক্টেড নোড নিরাপদ করা একটি একক GPU ভাড়া করার চেয়ে কঠিন, এবং এর ঘাটতি পরিবর্তিত হয়।

উপরের তুলনাটি কীভাবে একটি ট্রেনিং ওয়ার্কলোডের জন্য পড়বেন

আপনার মডেল সাইজ এবং ডেটাসেট থেকে শুরু করুন, তারপর বাইরে কাজ করুন। ওজন, গ্রেডিয়েন্ট এবং অপটিমাইজার স্টেটের জন্য প্রয়োজনীয় মেমোরি অনুমান করুন, এবং এমন ইনস্ট্যান্সে ফিল্টার করুন যাদের VRAM সেই সীমা ছাড়িয়ে যায়। পরবর্তীতে, সিদ্ধান্ত নিন যে এক GPU যথেষ্ট কিনা বা NVLink-সংযুক্ত মাল্টি-GPU বা নেটওয়ার্ক ক্লাস্টার দরকার, এবং যাচাই করুন যে প্রার্থী সেই টপোলজি অফার করে। তারপরই মূল্য এবং বিলিং মডেল বিবেচনা করুন। একটু বেশি দামের ইনস্ট্যান্স যার বেশি VRAM এবং দ্রুত ইন্টারকানেক্ট থাকে, সাধারণত সস্তা কার্ডের তুলনায় দ্রুত শেষ হয় এবং মোট খরচ কম হয় যা আপনাকে ধীর ওয়ার্কঅ্যারাউন্ডে বাধ্য করে। কারণ ভাড়া হারগুলি নিয়মিত পরিবর্তিত হয় এবং প্রোভাইডারদের মধ্যে ভিন্ন হয়, তাই উপরের টেবিলের লাইভ তথ্যকে সত্যের উৎস হিসেবে বিবেচনা করুন, প্রবন্ধে দেওয়া যেকোনো সংখ্যার চেয়ে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

মডেল ট্রেনিংয়ের জন্য কত GPU মেমোরি প্রয়োজন?

মডেলের প্যারামিটার সংখ্যার থেকে অনেক বেশি বাজেট রাখুন। ওজন ছাড়াও আপনাকে ব্যাকওয়ার্ড পাসের জন্য অ্যাক্টিভেশন, গ্রেডিয়েন্ট এবং অপটিমাইজার স্টেট সংরক্ষণ করতে হবে, যা Adam-স্টাইল অপটিমাইজারগুলির সাথে ওজনের মেমোরি প্রায় তিনগুণ বাড়িয়ে দিতে পারে। মিক্সড-প্রিসিশন এবং গ্রেডিয়েন্ট চেকপয়েন্টিং বা অফলোডিংয়ের মতো কৌশলগুলি প্রয়োজনীয়তা কমায়, কিন্তু নিরাপদ পন্থা হল ঠিকঠাক ফিট করার থেকে বেশি VRAM নেওয়া।

স্পট বা ইন্টারাপ্টযোগ্য ইনস্ট্যান্সগুলি ট্রেনিং কাজের জন্য নিরাপদ?

হতে পারে, যদি আপনি নিয়মিত চেকপয়েন্ট করেন এবং আপনার কোড শেষ সংরক্ষিত অবস্থান থেকে পরিষ্কারভাবে পুনরায় শুরু হয়। স্পট ক্ষমতা খরচ উল্লেখযোগ্যভাবে কমায়, কিন্তু এটি যেকোনো সময় পুনরুদ্ধার করা যেতে পারে, তাই এটি ত্রুটি-সহিষ্ণু বা পরীক্ষামূলক রানগুলোর জন্য উপযুক্ত, একক অপরিবর্তনীয় দীর্ঘ কাজের জন্য নয়। আপনি যদি ট্রেনিং পুনরায় শুরু করতে না পারেন, তবে অন-ডিমান্ড বা রিজার্ভড ক্ষমতা নিরাপদ পছন্দ।

ট্রেনিংয়ের জন্য কি আমাকে একাধিক GPU দরকার, নাকি একটি যথেষ্ট?

এটি মডেল এবং ডেটাসেটের আকারের উপর নির্ভর করে। ছোট মডেল, ফাইন-টিউনিং, এবং প্যারামিটার-কার্যকর পদ্ধতিগুলো প্রায়শই একটি উচ্চ VRAM-যুক্ত একক GPU তে ভালো চলে। পূর্ণ ফাইন-টিউন এবং বড় মডেল মাল্টি-GPU নোডের দ্রুত ইন্টারকানেক্ট থেকে লাভবান হয়, এবং সবচেয়ে বড় প্রি-ট্রেনিং কাজগুলো সত্যিই মাল্টি-নোড ক্লাস্টার প্রয়োজন যেখানে মেশিনগুলোর মধ্যে উচ্চ-গতির নেটওয়ার্কিং থাকে।

ট্রেনিংয়ের জন্য ইন্টারকানেক্ট এত গুরুত্বপূর্ণ কেন?

বিতরণকৃত ট্রেনিং ধারাবাহিকভাবে GPU-গুলোর মধ্যে গ্রেডিয়েন্ট সিঙ্ক্রোনাইজ করে। যদি কার্ড বা নোডের মধ্যে লিঙ্ক ধীর হয়, তাহলে সেই যোগাযোগ প্রতিটি ধাপে বিলম্বিত হয় এবং GPU-গুলো একে অপরের জন্য অপেক্ষা করে নিষ্ক্রিয় থাকে। একটি নোডের মধ্যে NVLink এবং নোডগুলোর মধ্যে InfiniBand-এর মতো দ্রুত ইন্টারকানেক্ট সিঙ্ক্রোনাইজেশনকে বটলনেক হওয়া থেকে রক্ষা করে, তাই হার্ডওয়্যার বাড়ানো আসলে রানকে দ্রুত করে, শুধু ওভারহেড বাড়ায় না।