ভাড়া নিন NVIDIA GeForce RTX 3080 ক্লাউডে

NVIDIA GeForce RTX 3080 10 জিবি GDDR6X প্যাক করে 760 জিবি/সেকেন্ড ব্যান্ডউইথ, 29.8 TFLOPS FP16 কম্পিউট দেয়, এবং 320 ওয়াটে কাজ করে। এটি Ampere আর্কিটেকচারের উপর ভিত্তি করে যা 2020 সালে পরিচয় করানো হয়েছিল।

বেশিরভাগ AI ব্যবহারের ক্ষেত্রে এটি তিনভাবে গুরুত্বপূর্ণ: ১) কত বড় মডেল লোড করা যায়; ২) অ্যাটেনশন কত দ্রুত চলে (ব্যান্ডউইথ-সীমাবদ্ধ); ৩) ম্যাটমুল-ভারী অপারেশন কত দ্রুত চলে (কম্পিউট-সীমাবদ্ধ)। NVIDIA GeForce RTX 3080 সাধারণত এই তিনটির মধ্যে একটি সুষম অবস্থানে থাকে — এজন্য এটি ক্লাউড ক্যাটালগে বারবার দেখা যায় যা ML টিমদের জন্য লক্ষ্য করা হয়েছে।

Check the NVIDIA GeForce RTX 3080 page for complete specifications and related GPU matchups.

NVIDIA GeForce RTX 3080 এর কাঁচা কম্পিউট সর্বোচ্চ 29.8 FP16 TFLOPS এবং 14.9 FP32 TFLOPS, 760 GB/s মেমোরি ব্যান্ডউইথ কম্পিউট ইউনিটগুলোকে সাপ্লাই করে। Ampere আর্কিটেকচার BF16/FP16 / FP8 মিশ্র প্রিসিশনের জন্য অপ্টিমাইজড টেনসর কোর নিয়ে আসে — আধুনিক ট্রান্সফরমারদের জন্য সবচেয়ে গুরুত্বপূর্ণ ফরম্যাট।

বাস্তব মডেল ট্রেনিং থ্রুপুট বড় ব্যাচ সাইজে তাত্ত্বিক শীর্ষের কাছাকাছি স্কেল করে; ছোট ব্যাচগুলো মেমোরি-সীমাবদ্ধ। লো-লেটেন্সি ইনফারেন্সে, লামা ৭০বি মত ট্রান্সফরমারে টোকেন-প্রতি-সেকেন্ড কোয়ান্টাইজেশন কৌশলের ওপর ব্যাপকভাবে নির্ভর করে — FP8/INT8 কম্পিউট সীমানা খুলে দেয়, FP16 ব্যান্ডউইথ-সীমাবদ্ধ।

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.

NVIDIA GeForce RTX 3080 সেরা যেখানে এর 10 GB VRAM এবং Ampere টেনসর কোর ভালোভাবে মিলিত হয়: Gaming, inference।

যদি আপনার ওয়ার্কলোডে উল্লেখযোগ্য বেশি মেমরি লাগে (যেমন, সীমান্ত-স্কেল মডেল শূন্য থেকে প্রশিক্ষণ), NVIDIA GeForce RTX 3080 ছোট এবং আপনি H100/H200/B200 ক্লাস কার্ড চাইবেন। যদি আপনার ওয়ার্কলোড কম লাগে (যেমন, 7B-প্যারামিটার মডেলে ছোট স্কেলের সার্ভিং), সস্তা কার্ড যেমন L4 বা RTX 4090 বেশি খরচ কার্যকর হতে পারে। মাঝারি ব্যান্ডের জন্য, NVIDIA GeForce RTX 3080 সাধারণত বুদ্ধিমানের পছন্দ।

See the NVIDIA GeForce RTX 3080 page for the full spec sheet and comparisons to related GPUs.