NVIDIA GH200 Superchip কি ডেটা-সেন্টার, প্রফেশনাল, নাকি কনজিউমার কার্ড?

উত্তর

NVIDIA GH200 Superchip Hopper আর্কিটেকচারের উপর নির্মিত এবং 96 জিবি HBM3 মেমোরি নিয়ে আসে 4,000 জিবি/সেকেন্ড ব্যান্ডউইথে। 2023 সালে মুক্তিপ্রাপ্ত, কার্ডটি 989 FP16 TFLOPS এবং 494.5 FP32 TFLOPS দেয় 700 ওয়াট TDP-তে।

মেশিন লার্নিং গবেষকদের জন্য, এই সংখ্যাগুলো বেশ কয়েকটি ব্যবহারিক সীমা নির্দেশ করে: ভিআরএএম সিলিং সবচেয়ে বড় বড় ভাষা মডেল ওজন লোড করার ক্ষমতা নির্ধারণ করে (এবং নির্দিষ্ট সিকোয়েন্স দৈর্ঘ্যে সর্বোচ্চ ব্যাচ সাইজ), যখন মেমোরি ব্যান্ডউইথ অ্যাটেনশন-ভারী ইনফারেন্সের সর্বোচ্চ সীমা নির্ধারণ করে। কম্পিউট থ্রুপুট ঘন ম্যাট্রিক্স গুণনের জন্য সবচেয়ে গুরুত্বপূর্ণ — প্রি-ট্রেনিং, বড় ব্যাচ প্রি-ট্রেনিং, এবং ডিফিউশন।

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.