ประสิทธิภาพ tensor core ของ NVIDIA A10G

คำตอบ

NVIDIA A10G คือการ์ด Ampere ที่ให้กำลัง 70 FP16 TFLOPS และ 35 FP32 TFLOPS พร้อมแบนด์วิดท์หน่วยความจำ 600 GB/s นั่นเพียงพอสำหรับการฝึกสอนโมเดลสมัยใหม่และงานให้บริการแบบเรียลไทม์ในระดับใหญ่

การทดสอบประสิทธิภาพแสดงให้เห็นว่า NVIDIA A10G ทำงานได้ดีเป็นพิเศษบนโมเดลสไตล์ทรานส์ฟอร์เมอร์ที่ tensor cores ถูกใช้งานเต็มที่ด้วย MatMul ขนาดใหญ่ โมเดล diffusion, งานเสียง และงานวิสัยทัศน์ก็เห็นความเร็วที่ดีขึ้นเมื่อเทียบกับรุ่นเก่า สำหรับการให้บริการแบบเรียลไทม์ที่ต้องการความหน่วงต่ำ NVIDIA A10G มักจะทำอัตราโทเค็นต่อวินาทีเป้าหมายบนโมเดลภาษาขนาดใหญ่ได้เกินเกณฑ์ 30-50 tok/s ที่ผลิตภัณฑ์ส่วนใหญ่ตั้งเป้าไว้

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.