ประสิทธิภาพสูงสุดของ FP16 ของ NVIDIA GeForce RTX 3070 คือเท่าไหร่?

คำตอบ

เปิดตัวใน 2020, NVIDIA GeForce RTX 3070 เป็นตัวเร่งความเร็วระดับ Ampere ที่มีหน่วยความจำ 8 GB ของ GDDR6, ความเร็วแบนด์วิดธ์หน่วยความจำ 448 GB/s และประสิทธิภาพการคำนวณ FP16 TFLOPS 20.3 FP32 สูงสุดที่ 10.2 TFLOPS และการ์ดใช้พลังงานสูงสุด 220W

ในแง่ปฏิบัติ: มี VRAM เพียงพอที่จะโหลดโมเดลในช่วง ~8B-parameter ใน FP16 (มากขึ้นเมื่อใช้การคอนทัวร์), มีแบนด์วิดธ์เพียงพอที่จะหลีกเลี่ยงการขาดแคลนหน่วยความจำในเลเยอร์ attention และมีประสิทธิภาพการคำนวณเพียงพอที่จะฝึกอบรมทรานส์ฟอร์เมอร์ด้วยขนาดแบตช์ที่ทำให้ตัวปรับแต่งสมัยใหม่เต็มประสิทธิภาพ

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.