ประสิทธิภาพสูงสุดของ FP16 ของ NVIDIA RTX A5000 คือเท่าไหร่?

คำตอบ

เปิดตัวใน 2021, NVIDIA RTX A5000 เป็นตัวเร่งความเร็วระดับ Ampere ที่มีหน่วยความจำ 24 GB ของ GDDR6, ความเร็วแบนด์วิดธ์หน่วยความจำ 768 GB/s และประสิทธิภาพการคำนวณ FP16 TFLOPS 32.8 FP32 สูงสุดที่ 27.8 TFLOPS และการ์ดใช้พลังงานสูงสุด 230W

ในแง่ปฏิบัติ: มี VRAM เพียงพอที่จะโหลดโมเดลในช่วง ~24B-parameter ใน FP16 (มากขึ้นเมื่อใช้การคอนทัวร์), มีแบนด์วิดธ์เพียงพอที่จะหลีกเลี่ยงการขาดแคลนหน่วยความจำในเลเยอร์ attention และมีประสิทธิภาพการคำนวณเพียงพอที่จะฝึกอบรมทรานส์ฟอร์เมอร์ด้วยขนาดแบตช์ที่ทำให้ตัวปรับแต่งสมัยใหม่เต็มประสิทธิภาพ

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.