เช่า NVIDIA GeForce RTX 3070 บนคลาวด์

เปิดตัวใน 2020, NVIDIA GeForce RTX 3070 เป็นตัวเร่งความเร็วระดับ Ampere ที่มีหน่วยความจำ 8 GB ของ GDDR6, ความเร็วแบนด์วิดธ์หน่วยความจำ 448 GB/s และประสิทธิภาพการคำนวณ FP16 TFLOPS 20.3 FP32 สูงสุดที่ 10.2 TFLOPS และการ์ดใช้พลังงานสูงสุด 220W

ในแง่ปฏิบัติ: มี VRAM เพียงพอที่จะโหลดโมเดลในช่วง ~8B-parameter ใน FP16 (มากขึ้นเมื่อใช้การคอนทัวร์), มีแบนด์วิดธ์เพียงพอที่จะหลีกเลี่ยงการขาดแคลนหน่วยความจำในเลเยอร์ attention และมีประสิทธิภาพการคำนวณเพียงพอที่จะฝึกอบรมทรานส์ฟอร์เมอร์ด้วยขนาดแบตช์ที่ทำให้ตัวปรับแต่งสมัยใหม่เต็มประสิทธิภาพ

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.

NVIDIA GeForce RTX 3070 ทำได้ 20.3 TFLOPS ของการคำนวณ FP16 พร้อมแบนด์วิดท์หน่วยความจำ 448 GB/s และ VRAM ขนาด 8 GB FP32 สูงสุดที่ 10.2 TFLOPS

ตัวเลขเหล่านี้วาง NVIDIA GeForce RTX 3070 ในช่วงประสิทธิภาพที่เหมาะสมสำหรับงาน AI สร้างสรรค์: แข็งแรงพอสำหรับการฝึกสอนโมเดลขนาดกลางถึงใหญ่ในเวลาที่เหมาะสม พร้อมแบนด์วิดท์เพียงพอที่จะรักษาความหน่วงเวลาการให้บริการแบบเรียลไทม์ต่ำ จำนวนโทเค็นต่อวินาทีหรือภาพต่อวินาทีจริงจะแตกต่างกันประมาณ 2 เท่าขึ้นอยู่กับเฟรมเวิร์ก, การทำควอนไทเซชัน และขนาดโมเดล — ควรทดสอบประสิทธิภาพด้วยสแต็กที่คุณวางแผนจะใช้งานจริงเสมอ

The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.

การใช้งานที่ NVIDIA GeForce RTX 3070 ทำได้ดี: Budget inference, gaming VRAM 8 GB, tensor cores Ampere และตำแหน่ง consumer เหมาะสำหรับทีม AI ที่ต้องการฮาร์ดแวร์ระดับคลาวด์โดยไม่ต้องจ่ายแพงสำหรับตัวเร่งรุ่นใหม่ล่าสุด

กฎง่ายๆ: ถ้าโมเดลของคุณพอดีกับ 8 GB VRAM ที่ความแม่นยำเป้าหมาย และงานของคุณถูกจำกัดด้วยแบนด์วิดท์หรือการประมวลผลมากกว่าหน่วยความจำ NVIDIA GeForce RTX 3070 น่าจะเป็นตัวเลือกทางเศรษฐกิจที่ดีกว่าการอัปเกรดไปยังระดับที่สูงกว่า

Review full specs and related comparisons on the NVIDIA GeForce RTX 3070 page.