เช่า NVIDIA A10G บนคลาวด์

NVIDIA A10G เป็นการ์ด Ampere ที่มีหน่วยความจำ 24 GB ของ GDDR6 ความเร็วแบนด์วิดธ์ 600 GB/s และมีประสิทธิภาพการคำนวณ FP16 ที่ 70 TFLOPS เปิดตัวใน 2021 และใช้พลังงานสูงสุด 300W

ในงานจริง ระบบหน่วยความจำมักเป็นปัจจัยที่สำคัญที่สุด: ความเร็วแบนด์วิดธ์ 600 GB/s เพียงพอที่จะรองรับงานถอดรหัสทรานส์ฟอร์เมอร์ส่วนใหญ่โดยไม่ทำให้หน่วยคำนวณขาดแคลน ในขณะที่หน่วยความจำ VRAM 24 GB รองรับขนาดโมเดลที่หลากหลาย โดยเฉพาะอย่างยิ่งเมื่อมีการใช้การคอนทัวร์

Check the NVIDIA A10G page for complete specifications and related GPU matchups.

NVIDIA A10G คือการ์ด Ampere ที่ให้กำลัง 70 FP16 TFLOPS และ 35 FP32 TFLOPS พร้อมแบนด์วิดท์หน่วยความจำ 600 GB/s นั่นเพียงพอสำหรับการฝึกสอนโมเดลสมัยใหม่และงานให้บริการแบบเรียลไทม์ในระดับใหญ่

การทดสอบประสิทธิภาพแสดงให้เห็นว่า NVIDIA A10G ทำงานได้ดีเป็นพิเศษบนโมเดลสไตล์ทรานส์ฟอร์เมอร์ที่ tensor cores ถูกใช้งานเต็มที่ด้วย MatMul ขนาดใหญ่ โมเดล diffusion, งานเสียง และงานวิสัยทัศน์ก็เห็นความเร็วที่ดีขึ้นเมื่อเทียบกับรุ่นเก่า สำหรับการให้บริการแบบเรียลไทม์ที่ต้องการความหน่วงต่ำ NVIDIA A10G มักจะทำอัตราโทเค็นต่อวินาทีเป้าหมายบนโมเดลภาษาขนาดใหญ่ได้เกินเกณฑ์ 30-50 tok/s ที่ผลิตภัณฑ์ส่วนใหญ่ตั้งเป้าไว้

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.

NVIDIA A10G โดดเด่นสำหรับ Inference, graphics rendering, AI-accelerated workloads VRAM 24 GB และ tensor cores รุ่น Ampere ทำให้มันเหมาะสำหรับงาน AI ที่ต้องการขนาดแบตช์ใหญ่และได้ประโยชน์จากการสนับสนุนความแม่นยำผสมสมัยใหม่

มันเกินความจำเป็นสำหรับการทดลองเล่นและมีขนาดเล็กเกินไปสำหรับโมเดลแนวหน้าที่ใหญ่ที่สุด แต่ครอบคลุมช่วงกลางกว้าง: การปรับแต่งทรานส์ฟอร์เมอร์โอเพนซอร์ส, การฝึกโมเดล diffusion, การรันงานให้บริการแบบแบตช์เรียลไทม์ และสนับสนุนเวิร์กโฟลว์แบบโต้ตอบที่ต้องการ VRAM มากกว่าการ์ดสำหรับผู้บริโภค

Full specs, benchmarks, and comparisons are on the NVIDIA A10G page.