ভাড়া নিন NVIDIA GB200 Superchip ক্লাউডে

পুরো NVIDIA GB200 Superchip স্পেস শিট পড়ুন: Blackwell জেনারেশন, 384 জিবি HBM3e ভিআরএএম, 16,000 জিবি/সেকেন্ড মেমোরি ব্যান্ডউইথ, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700 ওয়াট পাওয়ার ড্র, মুক্তিপ্রাপ্ত 2024।

মেমোরি সাধারণত বড় মডেল রিয়েল-টাইম সার্ভিংয়ের জন্য সীমাবদ্ধতা — 384 জিবি-তে, NVIDIA GB200 Superchip আরামসে FP16-এ মাঝারি সাইজের ট্রান্সফর্মার এবং FP8/INT8-এ অনেক বড় মডেল পরিচালনা করে। 16,000 জিবি/সেকেন্ড সংখ্যা বিশেষভাবে গুরুত্বপূর্ণ KV-ক্যাশ-বাউন্ড অটোরিগ্রেসিভ ডিকোডিংয়ের জন্য, যেখানে মেমোরি ব্যান্ডউইথ টোকেন/সেকেন্ডকে কাঁচা কম্পিউটের চেয়ে বেশি সীমাবদ্ধ করে।

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.

NVIDIA GB200 Superchip কর্মক্ষমতা শিরোনাম: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s ব্যান্ডউইথ, 384 GB VRAM।

বাস্তব বেঞ্চমার্কে রূপান্তরিত: ৭ বিলিয়ন প্যারামিটার LLM মডেল FP16-এ যুক্তিসঙ্গত ব্যাচ সাইজে ট্রেনিং সাধারণত ব্যান্ডউইথের আগে কম্পিউট স্যাচুরেট করে; একই মডেলে রিয়েল-টাইম সার্ভিং সাধারণত ব্যান্ডউইথ-সীমাবদ্ধ এবং 16,000 GB/s সংখ্যাকে অনুসরণ করে। ডিফিউশন ইমেজ জেনারেশনের বেঞ্চমার্ক দুইটির মধ্যে থাকে — কম্পিউট-ভারী ধাপগুলি টেনসর কোর ভালোভাবে ব্যবহার করে, যখন অ্যাটেনশন ব্লকগুলো এখনও ব্যান্ডউইথে স্পর্শ করে।

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.

NVIDIA GB200 Superchip সেরা যেখানে এর 384 GB VRAM এবং Blackwell টেনসর কোর ভালোভাবে মিলিত হয়: Largest-scale AI training, multi-trillion parameter models।

যদি আপনার ওয়ার্কলোডে উল্লেখযোগ্য বেশি মেমরি লাগে (যেমন, সীমান্ত-স্কেল মডেল শূন্য থেকে প্রশিক্ষণ), NVIDIA GB200 Superchip ছোট এবং আপনি H100/H200/B200 ক্লাস কার্ড চাইবেন। যদি আপনার ওয়ার্কলোড কম লাগে (যেমন, 7B-প্যারামিটার মডেলে ছোট স্কেলের সার্ভিং), সস্তা কার্ড যেমন L4 বা RTX 4090 বেশি খরচ কার্যকর হতে পারে। মাঝারি ব্যান্ডের জন্য, NVIDIA GB200 Superchip সাধারণত বুদ্ধিমানের পছন্দ।

Review full specs and related comparisons on the NVIDIA GB200 Superchip page.