NVIDIA A10G এর টেনসর কোর কর্মক্ষমতা

উত্তর

NVIDIA A10G একটি Ampere কার্ড যা 70 FP16 TFLOPS এবং 35 FP32 TFLOPS প্রদান করে পাশাপাশি 600 GB/s মেমোরি ব্যান্ডউইথ। এটি আধুনিক মডেল ট্রেনিং এবং রিয়েল-টাইম সার্ভিং ওয়ার্কলোড বড় পরিসরে পরিচালনা করার জন্য যথেষ্ট কম্পিউট।

বেঞ্চমার্কগুলো দেখায় NVIDIA A10G বিশেষ করে ট্রান্সফরমার-স্টাইল মডেলে ভালো পারফর্ম করে যেখানে টেনসর কোর বড় ম্যাটমুল দ্বারা স্যাচুরেট হয়। ডিফিউশন মডেল, স্পিচ এবং ভিশন ওয়ার্কলোডও পুরনো প্রজন্মের তুলনায় শক্তিশালী গতি পায়। লেটেন্সি-সংবেদনশীল প্রোডাকশন রিয়েল-টাইম সার্ভিংয়ে, NVIDIA A10G সাধারণত বড় ভাষা মডেলে লক্ষ্যমাত্রা টোকেন-প্রতি-সেকেন্ড হার ৩০-৫০ টোকেন/সেকেন্ডের উপরে পৌঁছায় যা বেশিরভাগ পণ্য লক্ষ্য করে।

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.