เช่า NVIDIA L40 บนคลาวด์

เวอร์ชันย่อของแผ่นสเปก NVIDIA L40 : 48 GB GDDR6, 864 GB/s, 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, Ada Lovelace (2023), 300W

เวอร์ชันยาว: การ์ดนี้ถูกปรับแต่งสำหรับการคูณเมทริกซ์ความแม่นยำผสมบนเทนเซอร์ขนาดใหญ่ ซึ่งตรงกับความต้องการของการฝึกอบรมและการถอดรหัสทรานส์ฟอร์เมอร์ในงานจริง ความเร็วแบนด์วิดธ์เพียงพอที่จะหลีกเลี่ยงการหยุดชะงักในงาน attention และความจุ VRAM ครอบคลุมขนาดโมเดลสมัยใหม่โดยไม่ต้องถ่ายโอนข้อมูลไปยังหน่วยความจำ CPU

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

หัวข้อประสิทธิภาพ NVIDIA L40: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, แบนด์วิดท์ 864 GB/s, VRAM 48 GB

แปลงเป็นการทดสอบประสิทธิภาพจริง: การฝึกโมเดล LLM ขนาด 7 พันล้านพารามิเตอร์ใน FP16 ด้วยขนาดแบตช์ที่เหมาะสมมักจะเต็มประสิทธิภาพการคำนวณก่อนแบนด์วิดท์; การให้บริการแบบเรียลไทม์บนโมเดลเดียวกันมักถูกจำกัดด้วยแบนด์วิดท์และสอดคล้องกับตัวเลข 864 GB/s การทดสอบการสร้างภาพ diffusion อยู่ระหว่างสองแบบ — ขั้นตอนที่เน้นการคำนวณหนักใช้ tensor cores ได้ดี ขณะที่บล็อก attention ยังคงใช้งานแบนด์วิดท์

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 เหมาะที่สุดสำหรับงานที่ 48 GB VRAM และ Ada Lovelace tensor cores ของมันเข้ากันได้ดี: Inference, video processing, rendering

ถ้างานของคุณต้องการหน่วยความจำมากกว่านี้อย่างมาก (เช่น การฝึกโมเดลระดับแนวหน้าจากศูนย์) NVIDIA L40 จะมีขนาดเล็กเกินไปและคุณควรเลือกการ์ดระดับ H100/H200/B200 ถ้างานของคุณต้องการน้อยกว่า (เช่น การให้บริการขนาดเล็กบนโมเดล 7B พารามิเตอร์) การ์ดที่ถูกกว่าอย่าง L4 หรือ RTX 4090 อาจคุ้มค่ากว่า สำหรับช่วงกลาง NVIDIA L40 มักเป็นตัวเลือกที่สมเหตุสมผล

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.