เช่า NVIDIA A16 บนคลาวด์

อัตราค่าเช่าคลาวด์ NVIDIA A16 ที่ราคาดีที่สุดที่เราติดตามคือ $0.47 ต่อชั่วโมงบน Vultr อัตรานี้สะท้อนการคิดค่าบริการแบบ on-demand; ผู้ให้บริการที่รองรับ spot/preemptible instances จะลดราคาลงเหลือ ต่อชั่วโมง — ประหยัดประมาณ up to 60% สำหรับงานที่สามารถทนต่อการถูกขัดจังหวะได้

ถ้าคุณสามารถผูกมัดกับความจุแบบ reserved คาดว่าจะได้รับส่วนลดเพิ่มอีก up to 40% สำหรับการทดลองแบบ ad-hoc เราแนะนำ on-demand; สำหรับการฝึกอบรมล่วงหน้าหลายวันให้จัดงบประมาณผสมระหว่าง spot และ on-demand อัตรารายชั่วโมงอาจเปลี่ยนแปลงรายสัปดาห์เนื่องจากการแข่งขันของผู้ให้บริการ ดังนั้นควรตรวจสอบตารางสดก่อนตัดสินใจใช้ระยะยาว

Vultr offers the cheapest NVIDIA A16 rate at $0.47/hr; Cherry Servers is also available for comparison.

NVIDIA A16 เป็นการ์ด 2021 รุ่น Ampere ที่มีหน่วยความจำ 64 GB ของ GDDR6 และแบนด์วิดธ์ 800 GB/s การคำนวณสูงสุดที่ 72 FP16 TFLOPS และ 18 FP32 TFLOPS; TDP อยู่ที่ 250W

การจับคู่ VRAM/แบนด์วิดธ์เป็นคุณสมบัติที่กำหนดสำหรับงานเรียนรู้ของเครื่อง — มันกำหนดขนาดโมเดลที่เข้าถึงได้และความสามารถในการใช้งานการ์ดในระหว่างการทำงานจริง การใช้พลังงานและความต้องการในการระบายความร้อนหมายความว่าการใช้งาน NVIDIA A16 ส่วนใหญ่จะอยู่ในศูนย์ข้อมูลมากกว่าสถานีงาน ซึ่งเป็นเหตุผลที่การเข้าถึง NVIDIA A16 ส่วนใหญ่ในทางปฏิบัติมาจากคลาวด์

Two tracked cloud providers currently offer NVIDIA A16: Vultr and Cherry Servers. Vultr has the cheaper rate at $0.47/hr.

ประสิทธิภาพสูงสุดบน NVIDIA A16: 72 FP16 TFLOPS, 18 FP32 TFLOPS, แบนด์วิดท์ 800 GB/s ตัวเลขเหล่านี้เป็นเพดาน throughput ทางทฤษฎี แต่ประสิทธิภาพในโลกจริงจะแตกต่างกันตามประสิทธิภาพของเคอร์เนล, ขนาดแบตช์ และรูปแบบโมเดล

สำหรับการฝึกสอนล่วงหน้า คาดการใช้งานใกล้สูงสุดบนเฟรมเวิร์กที่ปรับแต่งดี (PyTorch กับ Flash Attention, DeepSpeed, การขนาน tensor แบบ Megatron) สำหรับการให้บริการ แบนด์วิดท์ KV-cache มักเป็นคอขวด — ซึ่งเป็นเหตุผลว่าทำไมตัวเลข 800 GB/s จึงทำนายความหน่วงได้ดีกว่า FP16 TFLOPS

บนเกณฑ์มาตรฐาน ML NVIDIA A16 อยู่ในระดับที่คาดหวังจากรุ่น Ampere ของมัน พร้อมประสิทธิภาพต่อวัตต์ที่แข็งแกร่งโดยพิจารณาจากความจุ VRAM 64 GB

Deploy NVIDIA A16 on Vultr (from $0.47/hr) or Cherry Servers — check live availability and spin up in minutes.

เพื่อรัน NVIDIA A16 คุณมีผู้ให้บริการคลาวด์ 2 ให้เลือก: Cherry Servers, Vultr. ราคาต่ำสุดในขณะนี้คือ Vultr ที่ $0.47 ต่อชั่วโมงแบบ on-demand โดยมี เป็นผู้นำในราคาสปอตที่ ต่อชั่วโมง

ขั้นตอนคำแนะนำของเรา: 1) ตัดผู้ให้บริการที่ไม่มีภูมิภาค, การปฏิบัติตามข้อกำหนด หรือการเชื่อมต่อที่คุณต้องการออก; 2) เปรียบเทียบราคาบน-demand ในกลุ่มที่เหลือ; 3) เพิ่มตัวเลือก spot/จองสำหรับงานที่ตรงกัน; 4) ตรวจสอบนโยบายค่าธรรมเนียมการส่งออกและข้อผูกมัดขั้นต่ำก่อนสมัคร

Deploy NVIDIA A16 on Vultr (from $0.47/hr) or Cherry Servers — check live availability and spin up in minutes.

การใช้งาน NVIDIA A16 มักรวมตัวกันรอบ Virtual desktops, lightweight inference, video streaming เหล่านั้นเหมาะกับสเปกของมัน: VRAM เพียงพอ (64 GB) สำหรับงาน AI จริง, การประมวลผลเพียงพอใน Ampere tensor cores สำหรับการฝึกที่รวดเร็ว และแบนด์วิดท์เพียงพอสำหรับการให้บริการแบบเรียลไทม์ที่มีประสิทธิภาพบนโมเดลทรานส์ฟอร์เมอร์

ทีมงานมักเลือก NVIDIA A16 เมื่อพวกเขาต้องการพื้นที่มากกว่าการ์ดสำหรับผู้บริโภคแต่ยังไม่ต้องการหน่วยความจำระดับแนวหน้า ด้วยราคาคลาวด์ที่ $0.47 ต่อชั่วโมง มันเป็นตัวเลือกที่ทนทานสำหรับห้องปฏิบัติการวิจัย, สตาร์ทอัพ และบริการให้บริการแบบเรียลไทม์ในระดับผลิต

Launch a NVIDIA A16 instance on Vultr at $0.47/hr, or try Cherry Servers for alternative regions and availability.