เช่า NVIDIA GeForce RTX 3080 บนคลาวด์

NVIDIA GeForce RTX 3080 มีหน่วยความจำ 10 GB ของ GDDR6X พร้อมแบนด์วิดธ์ 760 GB/s ให้ประสิทธิภาพการคำนวณ FP16 ที่ 29.8 TFLOPS และทำงานที่ 320W อิงตามสถาปัตยกรรม Ampere ที่เปิดตัวใน 2020

สำหรับกรณีใช้งาน AI ส่วนใหญ่ สิ่งนี้มีความสำคัญในสามด้าน: 1) ขนาดโมเดลที่สามารถโหลดได้; 2) ความเร็วในการทำงานของ attention (จำกัดด้วยแบนด์วิดธ์); 3) ความเร็วในการทำงานของคำสั่ง MatMul หนัก (จำกัดด้วยการคำนวณ) NVIDIA GeForce RTX 3080 มักอยู่ในตำแหน่งที่สมดุลในทั้งสามด้าน — ซึ่งเป็นเหตุผลที่มันปรากฏบ่อยในแคตตาล็อกคลาวด์ที่มุ่งเป้าไปที่ทีม ML

Check the NVIDIA GeForce RTX 3080 page for complete specifications and related GPU matchups.

การคำนวณดิบบน NVIDIA GeForce RTX 3080 สูงสุดที่ 29.8 FP16 TFLOPS และ 14.9 FP32 TFLOPS พร้อมแบนด์วิดท์หน่วยความจำ 760 GB/s ที่จ่ายให้หน่วยคำนวณ สถาปัตยกรรม Ampere นำ tensor cores ที่ปรับแต่งสำหรับ BF16/FP16 / FP8 ความแม่นยำผสม — รูปแบบที่สำคัญที่สุดสำหรับทรานส์ฟอร์เมอร์สมัยใหม่

อัตราการประมวลผลโมเดลในโลกจริงขยายตัวใกล้เคียงกับค่าสูงสุดทางทฤษฎีที่ขนาดแบตช์ใหญ่; แบตช์เล็กกว่าจะถูกจำกัดด้วยหน่วยความจำ สำหรับการอนุมานที่มีความหน่วงต่ำ โทเค็นต่อวินาทีบนทรานส์ฟอร์เมอร์เช่น Llama 70B ขึ้นอยู่กับกลยุทธ์ควอนไทเซชันอย่างมาก — FP8/INT8 ปลดล็อกเพดานการคำนวณ, FP16 ถูกจำกัดด้วยแบนด์วิดท์

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.

NVIDIA GeForce RTX 3080 เหมาะที่สุดสำหรับงานที่ 10 GB VRAM และ Ampere tensor cores ของมันเข้ากันได้ดี: Gaming, inference

ถ้างานของคุณต้องการหน่วยความจำมากกว่านี้อย่างมาก (เช่น การฝึกโมเดลระดับแนวหน้าจากศูนย์) NVIDIA GeForce RTX 3080 จะมีขนาดเล็กเกินไปและคุณควรเลือกการ์ดระดับ H100/H200/B200 ถ้างานของคุณต้องการน้อยกว่า (เช่น การให้บริการขนาดเล็กบนโมเดล 7B พารามิเตอร์) การ์ดที่ถูกกว่าอย่าง L4 หรือ RTX 4090 อาจคุ้มค่ากว่า สำหรับช่วงกลาง NVIDIA GeForce RTX 3080 มักเป็นตัวเลือกที่สมเหตุสมผล

See the NVIDIA GeForce RTX 3080 page for the full spec sheet and comparisons to related GPUs.