NVIDIA A40 সহ সেরা ক্লাউড GPU প্রদানকারী

NVIDIA A40 আসলে কী

A40 হল একটি Ampere-প্রজন্মের ডেটা-সেন্টার GPU যা GA102 ডাই-তে নির্মিত — একই সিলিকন পরিবার যা NVIDIA-এর উচ্চ-শেষ Ampere ওয়ার্কস্টেশন এবং কনজিউমার কার্ড চালায়। এটি NVIDIA-এর পেশাদার ভিজ্যুয়ালাইজেশন লাইনে রয়েছে, কম্পিউট-প্রথম A100 লাইনের পরিবর্তে, যা এর ভাড়া এবং দক্ষতার সবকিছু নির্ধারণ করে। যেকোনো ভাড়াটে ব্যক্তির জন্য প্রধান বৈশিষ্ট্য হল মেমরি ক্ষমতা: A40-তে 48 GB GDDR6 ECC সহ রয়েছে, যা একটি বড় পুল যা আপনাকে বড় মডেল এবং ডেটাসেট লোড করতে দেয় মাল্টি-GPU শার্ডিং ছাড়াই।

কারণ এটি A100-তে পাওয়া HBM2e এর পরিবর্তে GDDR6 ব্যবহার করে, এর কাঁচা মেমরি ব্যান্ডউইথ কম — প্রায় শতকরা GB/s পরিসরে, HBM কার্ডের মাল্টিপল টেরাবাইট-প্রতি-সেকেন্ডের তুলনায়। এই একক পার্থক্যটি উপরের তুলনা পড়ার সময় সবচেয়ে গুরুত্বপূর্ণ বিষয়: A40 আপনাকে মাঝারি ব্যান্ডউইথে প্রচুর VRAM দেয়, যা ব্যান্ডউইথ-সীমাবদ্ধ HBM কার্ড থেকে সম্পূর্ণ ভিন্ন মূল্য প্রস্তাব।

কম্পিউট এবং প্রিসিশন সাপোর্ট

A40-তে Ampere-এর তৃতীয়-প্রজন্মের টেনসর কোর এবং দ্বিতীয়-প্রজন্মের RT কোর রয়েছে। AI কাজের জন্য প্রাসঙ্গিক প্রিসিশনগুলি ভালোভাবে কভার করা হয়েছে:

• FP16 এবং BF16 মিশ্র-প্রিসিশন ট্রেনিং এবং ইনফারেন্সের জন্য, টেনসর কোর অ্যাক্সেলারের সাথে।
• TF32, Ampere-এর টেনসর ফরম্যাট যা FP32-স্টাইল ট্রেনিং ম্যাথ দ্রুত করে খুব কম কোড পরিবর্তনের মাধ্যমে।
• INT8 এবং INT4 কোয়ান্টাইজড, উচ্চ-থ্রুপুট ইনফারেন্সের জন্য।
• স্ট্রাকচারাল স্পার্সিটি সাপোর্ট, যা প্রায় দ্বিগুণ কার্যকর টেনসর কোর থ্রুপুট দিতে পারে এমন মডেলগুলিতে যা এটি ব্যবহার করে প্রশিক্ষিত।

যা নেই তা হল FP8, যা পরবর্তী Hopper প্রজন্ম (H100) এবং Ada ও Blackwell পরিবারগুলোর সাথে এসেছে। যদি আপনার ওয়ার্কফ্লো বিশেষভাবে FP8 ট্রেনিং বা ইনফারেন্স কার্নেল লক্ষ্য করে, তাহলে A40 ভুল কার্ড এবং আপনাকে উপরের তালিকা থেকে নতুন প্রজন্মের কার্ড বেছে নিতে হবে।

ইন্টারকানেক্ট, স্কেলিং এবং পাওয়ার

A40 সংযুক্ত হয় PCIe Gen4 এর মাধ্যমে এবং NVLink সাপোর্ট করে দুটি কার্ড ব্রিজ করার জন্য, যা মেমরি-চাহিদাসম্পন্ন কাজের জন্য সম্মিলিত ৯৬ GB পুল উপস্থাপন করতে পারে। এটি SXM A100/H100-তে ব্যবহৃত ঘন NVLink ফ্যাব্রিক (NVSwitch) দিয়ে অনেক GPU-তে স্কেল করে না, তাই এটি একটি শক্তিশালী একক বা দ্বৈত GPU কার্ড হিসেবে ভাবা উচিত, আট-ওয়ে ট্রেনিং ক্লাস্টারের ভিত্তি হিসেবে নয়। এটি একটি প্যাসিভলি কুলড, সার্ভার-উদ্দেশ্যযুক্ত বোর্ড যা প্রায় ৩০০ W শ্রেণীর, যা প্রদানকারীদের ঘনভাবে প্যাক করতে এবং আকর্ষণীয় দামে অফার করতে সাহায্য করে।

A40 কোন ওয়ার্কলোডে সত্যিই মানায়

A40-এর প্রোফাইল — প্রচুর VRAM, মাঝারি ব্যান্ডউইথ, পূর্ণ Ampere AI বৈশিষ্ট্য, সাথে বাস্তব RT কোর — এটিকে একটি বহুমুখী মধ্যম-স্তরের ভাড়া হিসেবে তৈরি করে। এটি শক্তিশালী মিল:

• মাঝারি আকারের ভাষা মডেলের ফাইন-টিউনিং এবং LoRA/QLoRA, যেখানে ৪৮ GB আপনাকে অপ্টিমাইজার স্টেট এবং দীর্ঘ সিকোয়েন্স রেসিডেন্ট রাখতে দেয়।
• উচ্চ-থ্রুপুট ব্যাচ ইনফারেন্স ৭B–৩৪B প্যারামিটার রেঞ্জের মডেলের জন্য (বিশেষ করে কোয়ান্টাইজড), যেখানে ক্যাপাসিটি পিক ব্যান্ডউইথের চেয়ে বেশি গুরুত্বপূর্ণ।
• রেন্ডারিং, 3D, ভার্চুয়াল ওয়ার্কস্টেশন এবং ভিজ্যুয়ালাইজেশন, যেখানে RT কোর এবং বড় ফ্রেম বাফার সরাসরি কাজে লাগে — এটি কার্ডটির নিজস্ব এলাকা।
• কম্পিউটার ভিশন, ডিফিউশন-মডেল ইমেজ জেনারেশন, এবং সাধারণ ML পরীক্ষণ যা ৪৮ GB-তে আরামদায়কভাবে ফিট হয়।

এটি ছোট মডেল বা হালকা ডেভেলপমেন্ট কাজের জন্য অতিরিক্ত, যেখানে ছোট, সস্তা কার্ড যথেষ্ট হবে, এবং এটি অধিক ক্ষমতাহীন খুব বড় মডেলের ফ্রন্টিয়ার-স্কেল প্রিট্রেনিংয়ের জন্য, যেখানে আপনি HBM ব্যান্ডউইথ, FP8, এবং ঘন মাল্টি-GPU ইন্টারকানেক্ট চান। অত্যন্ত থ্রুপুটের জন্য ল্যাটেন্সি-সংশ্লিষ্ট রিয়েল-টাইম ইনফারেন্সে, একটি নতুন ইনফারেন্স-অপ্টিমাইজড কার্ড সাধারণত প্রতি ডলারে টোকেন প্রতি সেকেন্ডে জিতবে যদিও তার VRAM কম।

A40 ভাড়া: খরচ এবং প্রাপ্যতার প্রেক্ষাপট

ভাড়া বাজারে A40 সাধারণত মধ্যম স্তরে থাকে — A100/H100-শ্রেণীর HBM কার্ডের তুলনায় প্রতি ঘণ্টায় উল্লেখযোগ্যভাবে সস্তা, কিন্তু এন্ট্রি-লেভেল কনজিউমার GPU-এর উপরে। এর আকর্ষণ হল VRAM প্রতি গিগাবাইট খরচ: যখন আপনার বাধা মডেল মেমরিতে ফিট করা, সর্বোচ্চ ব্যান্ডউইথে গণনা নয়, তখন A40 প্রায়ই ৪৮ GB পাওয়ার সবচেয়ে সাশ্রয়ী উপায়। এটি একটি পরিপক্ক, ব্যাপকভাবে ব্যবহৃত কার্ড হওয়ায়, অন-ডিমান্ড প্রাপ্যতা সাধারণত ভালো এবং এটি নতুনতম অ্যাক্সেলরেটরগুলোর মতো সংকট এবং অপেক্ষার তালিকার শিকার হয় না।

অনেক প্রদানকারী এটিকে স্পট বা ইন্টারাপ্টেবল স্তরেও অফার করে আরও ছাড়ে, যা চেকপয়েন্টেড ফাইন-টিউনিং এবং ব্যাচ কাজের জন্য উপযুক্ত যা রিস্টার্ট সহ্য করতে পারে। সঠিক হারগুলি ক্রমাগত পরিবর্তিত হয় এবং প্রদানকারী, অঞ্চল, এবং কমিটমেন্ট অনুযায়ী ভিন্ন হয়, তাই উপরের তুলনা ব্যবহার করুন লাইভ প্রতি ঘণ্টার মূল্য নির্ধারণের জন্য কোনো নির্দিষ্ট সংখ্যার পরিবর্তে — এবং যখন তুলনা করবেন, অন-ডিমান্ড বনাম স্পট, বিলিং গ্রানুলারিটি, এবং যদি ৯৬ GB সম্মিলিত পুল প্রয়োজন হয় তবে NVLink পেয়ারিং অফার করা হয় কিনা তা বিবেচনা করুন।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

NVIDIA A40-তে কত VRAM আছে?

A40-তে ৪৮ GB GDDR6 মেমরি ECC সহ রয়েছে। এই বড় ক্ষমতা হল এর প্রধান আকর্ষণ ভাড়ার জন্য, যা আপনাকে মাঝারি মডেল ফাইন-টিউন করতে বা কোয়ান্টাইজড বড় মডেল ইনফারেন্স একক কার্ডে চালাতে দেয়।

A40 বড় ভাষা মডেল ট্রেনিংয়ের জন্য ভালো?

এটি ৪৮ GB পুলের জন্য মাঝারি মডেল ফাইন-টিউনিং এবং ট্রেনিংয়ের জন্য উপযুক্ত, কিন্তু ফ্রন্টিয়ার-স্কেল প্রিট্রেনিংয়ের জন্য আদর্শ নয়। এর জন্য আপনি HBM ব্যান্ডউইথ, FP8 সাপোর্ট, এবং ঘন মাল্টি-GPU ইন্টারকানেক্ট চান যা নতুন Hopper বা Blackwell কার্ডে পাওয়া যায় — উপরের তালিকা থেকে সেগুলো বেছে নিন যদি প্রিট্রেনিং আপনার লক্ষ্য।

A40 এবং A100 এর তুলনা কেমন?

দুটোই Ampere, কিন্তু A100 উচ্চ-ব্যান্ডউইথ HBM2e মেমরি ব্যবহার করে অনেক বেশি ব্যান্ডউইথ দেয় এবং ঘন NVSwitch স্কেলিং সাপোর্ট করে, যা বড়-স্কেলের ট্রেনিংয়ের জন্য শক্তিশালী করে তোলে। A40 সেই ব্যান্ডউইথের বিনিময়ে বড় ৪৮ GB GDDR6 পুল এবং RT কোর দেয়, এবং ভাড়া কম — যখন ক্ষমতা এবং খরচ পিক থ্রুপুটের চেয়ে বেশি গুরুত্বপূর্ণ তখন এটি ভালো ফিট।

A40 কি মাল্টি-GPU কাজের জন্য NVLink সাপোর্ট করে?

হ্যাঁ, দুটি A40 NVLink দিয়ে ব্রিজ করা যায় যা সম্মিলিত ৯৬ GB মেমরি পুল উপস্থাপন করে, যা একক কার্ডে ফিট না হওয়া মডেলগুলোর জন্য সাহায্য করে। তবে এটি SXM ডেটা-সেন্টার কার্ডে ব্যবহৃত ঘন ফ্যাব্রিক দিয়ে অনেক GPU-তে স্কেল করে না, তাই এটিকে একক বা দ্বৈত GPU ভাড়া হিসেবে ভাবুন।