NVIDIA GB200 Superchip কি BF16 এবং FP8 সাপোর্ট করে?

উত্তর

পুরো NVIDIA GB200 Superchip স্পেস শিট পড়ুন: Blackwell জেনারেশন, 384 জিবি HBM3e ভিআরএএম, 16,000 জিবি/সেকেন্ড মেমোরি ব্যান্ডউইথ, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700 ওয়াট পাওয়ার ড্র, মুক্তিপ্রাপ্ত 2024।

মেমোরি সাধারণত বড় মডেল রিয়েল-টাইম সার্ভিংয়ের জন্য সীমাবদ্ধতা — 384 জিবি-তে, NVIDIA GB200 Superchip আরামসে FP16-এ মাঝারি সাইজের ট্রান্সফর্মার এবং FP8/INT8-এ অনেক বড় মডেল পরিচালনা করে। 16,000 জিবি/সেকেন্ড সংখ্যা বিশেষভাবে গুরুত্বপূর্ণ KV-ক্যাশ-বাউন্ড অটোরিগ্রেসিভ ডিকোডিংয়ের জন্য, যেখানে মেমোরি ব্যান্ডউইথ টোকেন/সেকেন্ডকে কাঁচা কম্পিউটের চেয়ে বেশি সীমাবদ্ধ করে।

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.