NVIDIA GeForce RTX 3080 Ti สามารถขยายการใช้งานข้ามหลาย GPU ได้ดีแค่ไหน?

คำตอบ

หัวข้อประสิทธิภาพ NVIDIA GeForce RTX 3080 Ti: 34.1 FP16 TFLOPS, 17 FP32 TFLOPS, แบนด์วิดท์ 912 GB/s, VRAM 12 GB

แปลงเป็นการทดสอบประสิทธิภาพจริง: การฝึกโมเดล LLM ขนาด 7 พันล้านพารามิเตอร์ใน FP16 ด้วยขนาดแบตช์ที่เหมาะสมมักจะเต็มประสิทธิภาพการคำนวณก่อนแบนด์วิดท์; การให้บริการแบบเรียลไทม์บนโมเดลเดียวกันมักถูกจำกัดด้วยแบนด์วิดท์และสอดคล้องกับตัวเลข 912 GB/s การทดสอบการสร้างภาพ diffusion อยู่ระหว่างสองแบบ — ขั้นตอนที่เน้นการคำนวณหนักใช้ tensor cores ได้ดี ขณะที่บล็อก attention ยังคงใช้งานแบนด์วิดท์

See the NVIDIA GeForce RTX 3080 Ti page for the full spec sheet and comparisons to related GPUs.