เช่า NVIDIA A100 SXM (40GB) บนคลาวด์

อัตราค่าเช่าคลาวด์ NVIDIA A100 SXM (40GB) ที่ราคาดีที่สุดที่เราติดตามคือ $0.80 ต่อชั่วโมงบน Vast.ai อัตรานี้สะท้อนการคิดค่าบริการแบบ on-demand; ผู้ให้บริการที่รองรับ spot/preemptible instances จะลดราคาลงเหลือ ต่อชั่วโมง — ประหยัดประมาณ up to 60% สำหรับงานที่สามารถทนต่อการถูกขัดจังหวะได้

ถ้าคุณสามารถผูกมัดกับความจุแบบ reserved คาดว่าจะได้รับส่วนลดเพิ่มอีก up to 40% สำหรับการทดลองแบบ ad-hoc เราแนะนำ on-demand; สำหรับการฝึกอบรมล่วงหน้าหลายวันให้จัดงบประมาณผสมระหว่าง spot และ on-demand อัตรารายชั่วโมงอาจเปลี่ยนแปลงรายสัปดาห์เนื่องจากการแข่งขันของผู้ให้บริการ ดังนั้นควรตรวจสอบตารางสดก่อนตัดสินใจใช้ระยะยาว

Launch a NVIDIA A100 SXM (40GB) instance on Vast.ai at $0.80/hr, or try RunPod for alternative regions and availability.

โดยสังเขป: NVIDIA A100 SXM (40GB) = สถาปัตยกรรม Ampere, หน่วยความจำ 40 GB HBM2e, แบนด์วิดธ์ 1,555 GB/s, FP16 TFLOPS 312, FP32 TFLOPS 19.5, กำลังไฟ 400W, 2020

สเปกเหล่านี้บอกเล่าเรื่องราวส่วนใหญ่สำหรับการเรียนรู้ของเครื่อง: VRAM กำหนดขีดจำกัดของโมเดล, แบนด์วิดธ์ควบคุมการถอดรหัสที่ใช้ attention หนัก และ TFLOPS กำหนดอัตราการฝึกอบรมล่วงหน้า NVIDIA A100 SXM (40GB) อยู่ในกลุ่มของตัวเร่งความเร็วที่มุ่งเป้าไปที่งานทรานส์ฟอร์เมอร์สมัยใหม่ — การปรับสมดุลแบนด์วิดธ์/TFLOPS ถูกปรับให้เหมาะสำหรับการฝึกอบรมล่วงหน้าขนาดใหญ่และการถอดรหัสในงานจริง มากกว่าการเล่นเกม

Two tracked cloud providers currently offer NVIDIA A100 SXM (40GB): Vast.ai and RunPod. Vast.ai has the cheaper rate at $0.80/hr.

ตัวเลขประสิทธิภาพจริงสำหรับ NVIDIA A100 SXM (40GB): 312 FP16 TFLOPS / 19.5 FP32 TFLOPS / 1,555 GB/s แบนด์วิดท์ / 40 GB VRAM

สำหรับบริบท นั่นคือขอบเขตการคำนวณที่ใช้ในการฝึกและให้บริการ LLM เชิงพาณิชย์ส่วนใหญ่ในปัจจุบัน ไม่ว่าคุณจะทำการฝึกสอนระดับวิจัยหรือการอนุมานที่ต้องการความหน่วงต่ำ NVIDIA A100 SXM (40GB) โดยทั่วไปจะทำได้ตามขอบเขต throughput ที่คาดหวังจากรุ่น Ampere ของมัน โดยตัวเลขเฉพาะขึ้นอยู่กับขนาดแบตช์, ความยาวลำดับ และการเลือกควอนไทเซชัน

Deploy NVIDIA A100 SXM (40GB) on Vast.ai (from $0.80/hr) or RunPod — check live availability and spin up in minutes.

ผู้ให้บริการ 2 ที่ให้บริการ NVIDIA A100 SXM (40GB) วันนี้: RunPod, Vast.ai. แหล่ง on-demand ที่ถูกที่สุดคือ Vast.ai ที่ $0.80 ต่อชั่วโมง; ราคาสปอตต่ำสุดอยู่ที่ ต่อชั่วโมงบน

ปัจจัยการเลือกในโลกจริงรวมถึง: เทคโนโลยีการเชื่อมต่อ (NVLink เทียบกับ PCIe เทียบกับ InfiniBand), ความพร้อมใช้งานแบบหลายโหนด, การเรียกเก็บเงินแบบต่อวินาทีเทียบกับต่อชั่วโมง, ค่าธรรมเนียมการส่งออกข้อมูล และการครอบคลุมภูมิภาค ผู้ให้บริการที่ราคาถูกแต่มีค่าธรรมเนียมการส่งออกสูงอาจมีค่าใช้จ่ายมากกว่าผู้ให้บริการที่แพงกว่าแต่ไม่มีค่าธรรมเนียมการส่งออกเมื่อรวมต้นทุนการเคลื่อนย้ายข้อมูลแล้ว

Rent NVIDIA A100 SXM (40GB) from Vast.ai (from $0.80/hr) or RunPod — compare live pricing and deploy.

NVIDIA A100 SXM (40GB) ดีสำหรับอะไร? AI training, fine-tuning, inference on smaller models. เหล่านี้คือการใช้งานที่เหมาะสมตามสเปกของมัน: มีหน่วยความจำเพียงพอ (40 GB) สำหรับ LLMs สมัยใหม่ส่วนใหญ่, มีพลังประมวลผลเพียงพอสำหรับการฝึกในระดับใหญ่ และมีแบนด์วิดท์เพียงพอเพื่อรักษาความหน่วงต่ำในการอนุมาน

NVIDIA A100 SXM (40GB) ไม่ใช่ตัวเลือกที่ถูกที่สุดสำหรับโมเดลขนาดเล็ก และไม่ใช่ตัวเลือกที่ใหญ่ที่สุดสำหรับการฝึกในระดับแนวหน้า — แต่เป็นตัวเลือกที่มีปริมาณสูงสุดในตลาดตัวเร่ง AI กลาง ซึ่งเป็นเหตุผลที่มันปรากฏในแคตตาล็อกคลาวด์ส่วนใหญ่ที่ $0.80 ต่อชั่วโมง หรือดีกว่า

Rent NVIDIA A100 SXM (40GB) from Vast.ai (from $0.80/hr) or RunPod — compare live pricing and deploy.