เช่า NVIDIA GH200 Superchip บนคลาวด์

NVIDIA GH200 Superchip สร้างบนสถาปัตยกรรม Hopper และมาพร้อมหน่วยความจำ 96 GB ของ HBM3 ที่แบนด์วิดธ์ 4,000 GB/s เปิดตัวใน 2023 การ์ดนี้ให้ประสิทธิภาพ FP16 TFLOPS ที่ 989 และ FP32 TFLOPS ที่ 494.5 โดยมี TDP 700W

สำหรับนักวิจัยด้านการเรียนรู้ของเครื่อง ตัวเลขเหล่านี้แปลเป็นข้อจำกัดที่ใช้งานได้จริงหลายประการ: ขีดจำกัด VRAM กำหนดน้ำหนักโมเดลภาษาขนาดใหญ่ที่สุดที่สามารถโหลดได้ (และขนาดแบตช์สูงสุดที่ความยาวลำดับที่กำหนด) ในขณะที่แบนด์วิดธ์หน่วยความจำกำหนดขีดจำกัดสูงสุดสำหรับการถอดรหัสที่ใช้ attention หนัก อัตราการคำนวณสำคัญที่สุดสำหรับการคูณเมทริกซ์หนาแน่น — การฝึกอบรมล่วงหน้า, การฝึกอบรมล่วงหน้าขนาดใหญ่, และการแพร่กระจาย

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.

คำตอบสั้น: NVIDIA GH200 Superchip ทำงานที่ 989 FP16 TFLOPS พร้อมแบนด์วิดท์หน่วยความจำ 4,000 GB/s คำตอบยาวขึ้นขึ้นอยู่กับสิ่งที่คุณใช้งาน

สำหรับการฝึกสอน FP16 หนาแน่นด้วยแบตช์ใหญ่ NVIDIA GH200 Superchip จะเต็มประสิทธิภาพ tensor cores และให้ throughput ใกล้เคียงกับ FLOPS สูงสุด สำหรับการให้บริการที่จำกัดด้วยหน่วยความจำบนโมเดลพื้นฐานที่มีบริบทยาว แบนด์วิดท์เป็นปัจจัยหลัก — ตัวเลข 4,000 GB/s มีความสำคัญมากกว่าค่า FLOPS ที่ประกาศ สำหรับการคำนวณทางวิทยาศาสตร์ FP32 ที่ 494.5 TFLOPS เป็นตัวเลขที่เกี่ยวข้องและวาง NVIDIA GH200 Superchip ให้อยู่ในระดับที่คาดหวังของ HPC ในกลุ่ม Hopper

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.

การใช้งานที่ NVIDIA GH200 Superchip ทำได้ดี: Large-scale AI training, HPC VRAM 96 GB, tensor cores Hopper และตำแหน่ง data-center เหมาะสำหรับทีม AI ที่ต้องการฮาร์ดแวร์ระดับคลาวด์โดยไม่ต้องจ่ายแพงสำหรับตัวเร่งรุ่นใหม่ล่าสุด

กฎง่ายๆ: ถ้าโมเดลของคุณพอดีกับ 96 GB VRAM ที่ความแม่นยำเป้าหมาย และงานของคุณถูกจำกัดด้วยแบนด์วิดท์หรือการประมวลผลมากกว่าหน่วยความจำ NVIDIA GH200 Superchip น่าจะเป็นตัวเลือกทางเศรษฐกิจที่ดีกว่าการอัปเกรดไปยังระดับที่สูงกว่า

Review full specs and related comparisons on the NVIDIA GH200 Superchip page.