ผู้ให้บริการคลาวด์ GPU ที่ดีที่สุดพร้อม NVIDIA A40

NVIDIA A40 คืออะไรจริงๆ

A40 เป็น GPU สำหรับศูนย์ข้อมูลในรุ่น Ampere ที่สร้างขึ้นบนชิป GA102 — ซึ่งเป็นตระกูลซิลิคอนเดียวกับที่ใช้ในการ์ดเวิร์กสเตชันและการ์ดผู้บริโภคระดับสูงของ NVIDIA ในรุ่น Ampere มันอยู่ในสายงานการแสดงผลมืออาชีพของ NVIDIA แทนที่จะเป็นสายงาน A100 ที่เน้นการประมวลผลเป็นหลัก ซึ่งส่งผลต่อวิธีการให้เช่าและจุดเด่นของมัน ฟีเจอร์เด่นสำหรับผู้ที่เช่าคือความจุหน่วยความจำ: A40 มาพร้อมกับ หน่วยความจำ GDDR6 ขนาด 48 GB พร้อม ECC ซึ่งเป็นพื้นที่ขนาดใหญ่ที่ช่วยให้คุณโหลดโมเดลและชุดข้อมูลขนาดใหญ่ได้โดยไม่ต้องใช้การแบ่งงานแบบหลาย GPU.

เนื่องจากใช้ GDDR6 แทน HBM2e ที่พบใน A100 แบนด์วิดท์หน่วยความจำดิบจึงต่ำกว่า — อยู่ในช่วงประมาณร้อยกิกะไบต์ต่อวินาที แทนที่จะเป็นหลายเทราไบต์ต่อวินาทีที่การ์ด HBM มอบให้ ความแตกต่างเพียงอย่างเดียวนี้เป็นสิ่งสำคัญที่สุดที่ต้องเข้าใจเมื่ออ่านการเปรียบเทียบข้างต้น: A40 ให้ VRAM จำนวนมากที่มีแบนด์วิดท์ปานกลาง ซึ่งเป็นข้อเสนอที่แตกต่างอย่างมากจากการ์ด HBM ที่จำกัดแบนด์วิดท์.

การประมวลผลและการรองรับความแม่นยำ

A40 รวม Tensor Cores รุ่นที่สาม และ RT cores รุ่นที่สองของ Ampere สำหรับงาน AI ความแม่นยำที่เกี่ยวข้องได้รับการรองรับอย่างครบถ้วน:

• FP16 และ BF16 สำหรับการฝึกอบรมและการอนุมานแบบผสมความแม่นยำ พร้อมการเร่งความเร็วด้วย Tensor Core.
• TF32 รูปแบบ tensor ของ Ampere ที่เร่งความเร็วคณิตศาสตร์การฝึกอบรมแบบ FP32 โดยมีการเปลี่ยนแปลงโค้ดน้อยที่สุด.
• INT8 และ INT4 สำหรับการอนุมานที่มีการควอนไทซ์และมีประสิทธิภาพสูง.
• รองรับ Structural sparsity

ซึ่งสามารถเพิ่มประสิทธิภาพ Tensor Core ได้ประมาณสองเท่าบนโมเดลที่ฝึกมาเพื่อใช้ประโยชน์จากมัน.

สิ่งที่ ไม่มี คือ FP8 ซึ่งมาพร้อมกับรุ่น Hopper (H100) และตระกูล Ada และ Blackwell หากเวิร์กโฟลว์ของคุณมุ่งเน้นไปที่การฝึกหรืออนุมานด้วย FP8 โดยเฉพาะ A40 ไม่ใช่การ์ดที่เหมาะสมและคุณควรเลือกการ์ดรุ่นใหม่กว่าในรายการข้างต้น.

การเชื่อมต่อ การขยาย และพลังงาน

A40 เชื่อมต่อผ่าน PCIe Gen4 และรองรับ NVLink เพื่อเชื่อมการ์ดสองใบเข้าด้วยกัน ซึ่งสามารถนำเสนอหน่วยความจำรวม 96 GB สำหรับงานที่ต้องการหน่วยความจำมาก มันไม่สามารถขยายข้ามหลาย GPU ด้วยโครงสร้าง NVLink ที่หนาแน่น (NVSwitch) เหมือนกับที่ SXM A100/H100 ใช้ ดังนั้นควรมองว่าเป็นการ์ดที่แข็งแกร่งสำหรับการใช้งานแบบ GPU เดียวหรือสอง GPU มากกว่าการเป็นฐานของคลัสเตอร์ฝึกอบรมแปดทาง มันเป็นบอร์ดที่ระบายความร้อนแบบพาสซีฟและออกแบบสำหรับเซิร์ฟเวอร์ในระดับ 300 W ซึ่งเป็นส่วนหนึ่งที่ทำให้ผู้ให้บริการสามารถจัดวางได้หนาแน่นและเสนอราคาที่น่าสนใจ.

งานประเภทใดที่ A40 เหมาะสมจริงๆ

โปรไฟล์ของ A40 — VRAM มาก แบนด์วิดท์ปานกลาง ฟีเจอร์ AI Ampere ครบถ้วน รวมถึง RT cores จริง — ทำให้เป็นการ์ดเช่าระดับกลางที่หลากหลาย มันเหมาะสมอย่างยิ่งสำหรับ:

• การปรับแต่งและ LoRA/QLoRA ของโมเดลภาษาขนาดกลาง ซึ่ง 48 GB ช่วยให้เก็บสถานะตัวปรับแต่งและลำดับที่ยาวขึ้นได้.
• การอนุมานแบบแบตช์ที่มีประสิทธิภาพสูง สำหรับโมเดลในช่วง 7B–34B พารามิเตอร์ (โดยเฉพาะแบบควอนไทซ์) ซึ่งความจุสำคัญกว่าความเร็วสูงสุดของแบนด์วิดท์.
• การเรนเดอร์ 3D เวิร์กสเตชันเสมือน และการแสดงผล ซึ่ง RT cores และบัฟเฟอร์เฟรมขนาดใหญ่มีประโยชน์โดยตรง — นี่คือพื้นที่ที่การ์ดนี้ถนัด.
• งานวิสัยทัศน์คอมพิวเตอร์ การสร้างภาพด้วยโมเดล diffusion และการทดลอง ML ทั่วไป ที่สามารถทำงานได้สบายใน 48 GB.

มัน เกินความจำเป็น สำหรับโมเดลเล็กหรือการพัฒนางานเบาๆ ที่การ์ดขนาดเล็กและราคาถูกกว่าจะเพียงพอ และ ไม่เพียงพอ สำหรับการฝึกอบรมโมเดลขนาดใหญ่มากในระดับแนวหน้า ที่ต้องการแบนด์วิดท์ HBM, FP8 และการเชื่อมต่อหลาย GPU ที่หนาแน่น สำหรับการอนุมานแบบเรียลไทม์ที่ต้องการความหน่วงต่ำและประสิทธิภาพสูง การ์ดรุ่นใหม่ที่ออกแบบมาเพื่ออนุมานจะมักจะได้คะแนนสูงกว่าในแง่ของโทเค็นต่อวินาทีต่อดอลลาร์ แม้ว่าจะมี VRAM น้อยกว่า.

การเช่า A40: บริบทของราคาและความพร้อมใช้งาน

ในตลาดเช่า A40 มักอยู่ในระดับ กลาง — ราคาต่อชั่วโมงถูกกว่าการ์ด HBM ระดับ A100/H100 อย่างมีนัยสำคัญ แต่สูงกว่าการ์ด GPU ผู้บริโภคระดับเริ่มต้น จุดเด่นคือราคาต่อกิกะไบต์ของ VRAM: เมื่อคอขวดของคุณคือการเก็บโมเดลในหน่วยความจำมากกว่าการประมวลผลที่แบนด์วิดท์สูงสุด A40 มักเป็นวิธีที่ประหยัดที่สุดในการได้ 48 GB เนื่องจากเป็นการ์ดที่มีอายุและใช้งานอย่างแพร่หลาย ความพร้อมใช้งานแบบ on-demand มักดีและไม่ค่อยประสบปัญหาขาดแคลนหรือคิวรอเหมือนกับตัวเร่งความเร็วรุ่นใหม่ล่าสุด.

ผู้ให้บริการหลายรายยังเสนอในระดับ spot หรือ interruptible ที่มีส่วนลดเพิ่มเติม เหมาะสำหรับการปรับแต่งที่มีการบันทึกจุดตรวจและงานแบตช์ที่ยอมรับการรีสตาร์ทได้ อัตราค่าบริการเปลี่ยนแปลงตลอดเวลาและแตกต่างกันตามผู้ให้บริการ ภูมิภาค และข้อตกลง ดังนั้นควรใช้การเปรียบเทียบข้างต้นสำหรับราคาต่อชั่วโมงแบบสดแทนตัวเลขคงที่ — และเมื่อเปรียบเทียบ ให้พิจารณาระหว่าง on-demand กับ spot ความละเอียดในการเรียกเก็บเงิน และว่ามีการจับคู่ NVLink หรือไม่หากคุณต้องการหน่วยความจำรวม 96 GB.

คำถามที่พบบ่อย

NVIDIA A40 มี VRAM เท่าไหร่?

A40 มีหน่วยความจำ GDDR6 ขนาด 48 GB พร้อม ECC ความจุขนาดใหญ่นี้เป็นจุดดึงดูดหลักสำหรับการเช่า ช่วยให้คุณปรับแต่งโมเดลขนาดกลางหรือรันการอนุมานโมเดลขนาดใหญ่ที่ควอนไทซ์บนการ์ดใบเดียวได้.

A40 เหมาะสำหรับการฝึกโมเดลภาษาขนาดใหญ่หรือไม่?

เหมาะสำหรับการปรับแต่งและฝึกโมเดลขนาดกลางด้วยหน่วยความจำ 48 GB แต่ไม่เหมาะสำหรับการฝึกในระดับแนวหน้าขนาดใหญ่ สำหรับงานนั้นคุณต้องการแบนด์วิดท์ HBM, การรองรับ FP8 และการเชื่อมต่อหลาย GPU ที่หนาแน่นซึ่งพบในการ์ด Hopper หรือ Blackwell รุ่นใหม่กว่า — ควรกรองรายการข้างต้นสำหรับการ์ดเหล่านั้นหากเป้าหมายของคุณคือการฝึกล่วงหน้า.

A40 เปรียบเทียบกับ A100 อย่างไร?

ทั้งสองเป็นรุ่น Ampere แต่ A100 ใช้หน่วยความจำ HBM2e ที่มีแบนด์วิดท์สูงมากและรองรับการขยายด้วย NVSwitch ที่หนาแน่น ทำให้เหมาะสำหรับการฝึกขนาดใหญ่ A40 แลกแบนด์วิดท์นั้นกับหน่วยความจำ GDDR6 ขนาด 48 GB ที่ใหญ่และ RT cores พร้อมราคาที่ถูกกว่า — เหมาะกว่าเมื่อความจุและต้นทุนสำคัญกว่าความเร็วสูงสุด.

A40 รองรับ NVLink สำหรับงานหลาย GPU หรือไม่?

ใช่ การ์ด A40 สองใบสามารถเชื่อมต่อด้วย NVLink เพื่อแสดงหน่วยความจำรวม 96 GB ซึ่งช่วยสำหรับโมเดลที่ไม่พอดีกับการ์ดใบเดียว อย่างไรก็ตาม มันไม่สามารถขยายข้ามหลาย GPU ด้วยโครงสร้างที่หนาแน่นเหมือนกับที่ใช้ในการ์ดศูนย์ข้อมูล SXM ดังนั้นควรมองว่าเป็นการ์ดเช่าแบบ GPU เดียวหรือสอง GPU.