NVIDIA GH200 Superchip เป็นการ์ดสำหรับศูนย์ข้อมูล, มืออาชีพ หรือผู้บริโภค?

คำตอบ

NVIDIA GH200 Superchip สร้างบนสถาปัตยกรรม Hopper และมาพร้อมหน่วยความจำ 96 GB ของ HBM3 ที่แบนด์วิดธ์ 4,000 GB/s เปิดตัวใน 2023 การ์ดนี้ให้ประสิทธิภาพ FP16 TFLOPS ที่ 989 และ FP32 TFLOPS ที่ 494.5 โดยมี TDP 700W

สำหรับนักวิจัยด้านการเรียนรู้ของเครื่อง ตัวเลขเหล่านี้แปลเป็นข้อจำกัดที่ใช้งานได้จริงหลายประการ: ขีดจำกัด VRAM กำหนดน้ำหนักโมเดลภาษาขนาดใหญ่ที่สุดที่สามารถโหลดได้ (และขนาดแบตช์สูงสุดที่ความยาวลำดับที่กำหนด) ในขณะที่แบนด์วิดธ์หน่วยความจำกำหนดขีดจำกัดสูงสุดสำหรับการถอดรหัสที่ใช้ attention หนัก อัตราการคำนวณสำคัญที่สุดสำหรับการคูณเมทริกซ์หนาแน่น — การฝึกอบรมล่วงหน้า, การฝึกอบรมล่วงหน้าขนาดใหญ่, และการแพร่กระจาย

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.