ভাড়া নিন NVIDIA A10G ক্লাউডে

NVIDIA A10G একটি Ampere কার্ড যার 24 জিবি GDDR6 মেমোরি, 600 জিবি/সেকেন্ড ব্যান্ডউইথ, এবং 70 TFLOPS FP16 কম্পিউট। এটি 2021 সালে লঞ্চ করা হয়েছিল এবং সর্বোচ্চ 300 ওয়াট পাওয়ার ব্যবহার করে।

বাস্তব ওয়ার্কলোডে মেমোরি সাবসিস্টেম সাধারণত সবচেয়ে গুরুত্বপূর্ণ ফ্যাক্টর: 600 জিবি/সেকেন্ড ব্যান্ডউইথ বেশিরভাগ ট্রান্সফর্মার ডিকোডিং টাস্ককে কম্পিউট ইউনিটগুলোকে ক্ষুধার্ত না করে চালিয়ে যেতে যথেষ্ট, আর 24 জিবি ভিআরএএম বিভিন্ন মডেল সাইজ সমর্থন করে, বিশেষ করে কোয়ান্টাইজেশন প্রয়োগের পর।

Check the NVIDIA A10G page for complete specifications and related GPU matchups.

NVIDIA A10G একটি Ampere কার্ড যা 70 FP16 TFLOPS এবং 35 FP32 TFLOPS প্রদান করে পাশাপাশি 600 GB/s মেমোরি ব্যান্ডউইথ। এটি আধুনিক মডেল ট্রেনিং এবং রিয়েল-টাইম সার্ভিং ওয়ার্কলোড বড় পরিসরে পরিচালনা করার জন্য যথেষ্ট কম্পিউট।

বেঞ্চমার্কগুলো দেখায় NVIDIA A10G বিশেষ করে ট্রান্সফরমার-স্টাইল মডেলে ভালো পারফর্ম করে যেখানে টেনসর কোর বড় ম্যাটমুল দ্বারা স্যাচুরেট হয়। ডিফিউশন মডেল, স্পিচ এবং ভিশন ওয়ার্কলোডও পুরনো প্রজন্মের তুলনায় শক্তিশালী গতি পায়। লেটেন্সি-সংবেদনশীল প্রোডাকশন রিয়েল-টাইম সার্ভিংয়ে, NVIDIA A10G সাধারণত বড় ভাষা মডেলে লক্ষ্যমাত্রা টোকেন-প্রতি-সেকেন্ড হার ৩০-৫০ টোকেন/সেকেন্ডের উপরে পৌঁছায় যা বেশিরভাগ পণ্য লক্ষ্য করে।

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.

NVIDIA A10G উজ্জ্বল Inference, graphics rendering, AI-accelerated workloads জন্য। কার্ডের 24 GB VRAM এবং Ampere-প্রজন্মের টেনসর কোর এটিকে শক্তিশালী করে AI ওয়ার্কলোডের জন্য যা ব্যাচ সাইজ বড় করে এবং আধুনিক মিক্সড-প্রিসিশন সাপোর্ট থেকে লাভবান হয়।

এটি খেলনা পরীক্ষার জন্য অতিরিক্ত এবং সবচেয়ে বড় সীমান্ত মডেলের জন্য ছোট, কিন্তু বিস্তৃত মাঝামাঝি অংশকে কভার করে: ওপেন-সোর্স ট্রান্সফর্মার ফাইন-টিউনিং, ডিফিউশন মডেল প্রশিক্ষণ, ব্যাচ রিয়েল-টাইম সার্ভিং পাইপলাইন চালানো, এবং ইন্টারেক্টিভ ওয়ার্কফ্লো যা কনজিউমার কার্ডের চেয়ে বেশি VRAM প্রয়োজন।

Full specs, benchmarks, and comparisons are on the NVIDIA A10G page.