ประสิทธิภาพ tensor core ของ NVIDIA RTX A4000

คำตอบ

NVIDIA RTX A4000 คือการ์ด Ampere ที่ให้กำลัง 19.2 FP16 TFLOPS และ 16 FP32 TFLOPS พร้อมแบนด์วิดท์หน่วยความจำ 448 GB/s นั่นเพียงพอสำหรับการฝึกสอนโมเดลสมัยใหม่และงานให้บริการแบบเรียลไทม์ในระดับใหญ่

การทดสอบประสิทธิภาพแสดงให้เห็นว่า NVIDIA RTX A4000 ทำงานได้ดีเป็นพิเศษบนโมเดลสไตล์ทรานส์ฟอร์เมอร์ที่ tensor cores ถูกใช้งานเต็มที่ด้วย MatMul ขนาดใหญ่ โมเดล diffusion, งานเสียง และงานวิสัยทัศน์ก็เห็นความเร็วที่ดีขึ้นเมื่อเทียบกับรุ่นเก่า สำหรับการให้บริการแบบเรียลไทม์ที่ต้องการความหน่วงต่ำ NVIDIA RTX A4000 มักจะทำอัตราโทเค็นต่อวินาทีเป้าหมายบนโมเดลภาษาขนาดใหญ่ได้เกินเกณฑ์ 30-50 tok/s ที่ผลิตภัณฑ์ส่วนใหญ่ตั้งเป้าไว้

The NVIDIA RTX A4000 page has the complete datasheet and side-by-side comparisons.