ผู้ให้บริการคลาวด์ GPU ที่ดีที่สุดพร้อม NVIDIA A100

NVIDIA A100 คืออะไรจริงๆ

NVIDIA A100 เป็นตัวเร่งความเร็วสำหรับศูนย์ข้อมูลที่สร้างขึ้นบนสถาปัตยกรรม Ampere (GPU GA100) และยังคงเป็นการ์ดที่ถูกเช่ามากที่สุดสำหรับงาน AI และ HPC มันเป็นเครื่องมือทำงานจากเจเนอเรชันก่อน Hopper (H100) และตำแหน่งนี้เองที่ทำให้มันยังคงมีความเกี่ยวข้องเมื่อคุณเช่า: มันมีความสมบูรณ์แบบ ใช้งานได้กว้างขวางในผู้ให้บริการหลายราย และมีราคาต่ำกว่าซิลิคอนรุ่นใหม่ล่าสุดในขณะที่ยังคงมีความสามารถจริงสำหรับการฝึกอบรมและการอนุมานอย่างจริงจัง

A100 มีสองการกำหนดค่าหน่วยความจำที่สำคัญมากเมื่อคุณอ่านการเปรียบเทียบข้างต้น:

• รุ่น 40 GB ใช้หน่วยความจำ HBM2.
• รุ่น 80 GB ใช้หน่วยความจำ HBM2e ที่เร็วกว่า โดยมีแบนด์วิดท์หน่วยความจำในช่วงต่ำประมาณ 2 TB/s เทียบกับประมาณ 1.5–1.6 TB/s บนการ์ด 40 GB.

ทั้งสองรุ่นใช้ชิปคำนวณเดียวกัน ดังนั้นความแตกต่างอยู่ที่ความจุและแบนด์วิดท์มากกว่าความเร็วคำนวณดิบ สำหรับงานที่จำกัดด้วยหน่วยความจำและโมเดลขนาดใหญ่ รุ่น 80 GB ดีกว่าอย่างมีนัยสำคัญ และควรตรวจสอบว่ารายการที่เสนอเป็นรุ่นใดก่อนที่จะตัดสินใจเช่า

การคำนวณและการรองรับความแม่นยำ

A100 แนะนำ Tensor Cores รุ่นที่สามและคุณสมบัติหลายอย่างที่เป็นศูนย์กลางของ AI สมัยใหม่:

• TF32 สำหรับการเร่งคณิตศาสตร์การฝึกอบรมแบบ FP32 โดยไม่ต้องเปลี่ยนโค้ด.
• FP16 และ BF16 ความแม่นยำผสม ซึ่งเป็นมาตรฐานสำหรับการฝึกอบรมการเรียนรู้เชิงลึกส่วนใหญ่.
• INT8 (และ INT4) สำหรับการอนุมานแบบควอนไทซ์ที่มีประสิทธิภาพสูง.
• รองรับ โครงสร้างความเบาบาง (sparsity) ที่สามารถเพิ่มประสิทธิภาพการทำงานของเทนเซอร์ได้ประมาณสองเท่าบนโมเดลที่เหมาะสม.
• FP64 บน Tensor Cores ซึ่งเป็นเหตุผลที่ A100 ยังคงเป็นที่นิยมในคลัสเตอร์วิทยาศาสตร์และ HPC.

ข้อจำกัดสำคัญที่ต้องจำไว้: A100 เปิดตัวก่อนประเภทข้อมูล FP8 ที่มาพร้อมกับ Hopper หากเวิร์กโฟลว์ของคุณขึ้นอยู่กับการฝึกอบรมหรืออนุมาน FP8 แบบเนทีฟ (ซึ่งเป็นเรื่องปกติสำหรับสูตรโมเดลขนาดใหญ่รุ่นใหม่ล่าสุด) A100 ไม่สามารถทำได้ในฮาร์ดแวร์และคุณควรพิจารณาการ์ดรุ่นใหม่กว่าในรายการข้างต้น

การเชื่อมต่อและการขยายแบบหลาย GPU

A100 รองรับ NVLink (รุ่นที่สาม) และในบอร์ดฐาน HGX ของ NVIDIA ยังรองรับ NVSwitch ซึ่งให้การสื่อสารระหว่าง GPU ด้วยแบนด์วิดท์สูงเกินกว่าที่ PCIe เพียงอย่างเดียวจะให้ได้ เรื่องนี้สำคัญเพราะการฝึกโมเดลขนาดใหญ่และการทำงานแบบขนาน tensor/pipeline มีความไวต่อแบนด์วิดท์ระหว่าง GPU อย่างมาก เมื่อเช่า ให้ตรวจสอบว่าโหนดหลาย GPU เชื่อมต่อด้วย NVLink/NVSwitch จริงหรือเป็นเพียงการ์ด PCIe หลายใบในกล่องเดียว เพราะความแตกต่างนี้ส่งผลโดยตรงต่อประสิทธิภาพการขยายตัว

A100 ยังมีฟีเจอร์ Multi-Instance GPU (MIG) ซึ่งแบ่ง GPU ทางกายภาพหนึ่งตัวออกเป็นอินสแตนซ์แยกกันได้ถึงเจ็ดอินสแตนซ์ ผู้ให้บริการบางรายเปิดให้เช่า MIG เป็นสัดส่วนที่ถูกกว่า เหมาะสำหรับงานอนุมานขนาดเล็ก โน้ตบุ๊ก หรือการพัฒนาที่การ์ด 40/80 GB ทั้งใบจะถูกใช้งานไม่เต็มที่

งานประเภทใดที่ A100 เหมาะสม

A100 อยู่ในจุดที่เหมาะสมสำหรับงานหลากหลายประเภท:

• การฝึกอบรมและการปรับแต่ง โมเดลขนาดกลางถึงใหญ่ รุ่น 80 GB สามารถจัดการการปรับแต่งโมเดลภาษาใหญ่ที่มีน้ำหนักเปิดเผยได้อย่างสบาย โดยเฉพาะอย่างยิ่งกับวิธีการที่ประหยัดพารามิเตอร์ และโหนดหลาย GPU ที่เชื่อมต่อด้วย NVLink สามารถขยายไปสู่การฝึกอบรมเต็มรูปแบบของโมเดลขนาดใหญ่ได้
• การอนุมานแบบแบตช์ที่มีประสิทธิภาพสูง โดยใช้ INT8/FP16 และ VRAM ขนาดใหญ่ช่วยให้บริการโมเดลขนาดใหญ่หรือแบตช์ใหญ่ได้อย่างมีประสิทธิภาพ
• การคำนวณทางวิทยาศาสตร์และ HPC ด้วยประสิทธิภาพ FP64 ที่แข็งแกร่ง

อาจกล่าวได้ว่า เกินความจำเป็น สำหรับการทดลองเบาๆ โมเดลขนาดเล็ก หรือการอนุมานแบบเรียลไทม์เป็นครั้งคราวของเครือข่ายขนาดกะทัดรัด ที่ซึ่งการ์ดขนาดเล็กหรือเก่ากว่า (หรือสไลซ์ MIG) จะคุ้มค่ากว่ามาก มัน แรงไม่พอ เมื่อเทียบกับการ์ดระดับท็อปปัจจุบันเฉพาะสำหรับการฝึกอบรมขนาดใหญ่ระดับแนวหน้า หรือเวิร์กโหลดที่ต้องการ FP8 และการเชื่อมต่อรุ่นใหม่ล่าสุดเท่านั้น

การเช่า A100: ค่าใช้จ่าย ความพร้อมใช้งาน และสิ่งที่ต้องตรวจสอบ

ในช่วงราคาการเช่า A100 มักอยู่ใน ระดับกลางถึงสูง: ชัดเจนว่าแพงกว่าการ์ดสำหรับผู้บริโภคและ GPU ศูนย์ข้อมูลรุ่นเก่า แต่โดยทั่วไปถูกกว่าส่วนประกอบ Hopper และ Blackwell รุ่นล่าสุด เนื่องจากมีอยู่ในตลาดมาหลายปี อุปทานจึงค่อนข้างดีและคุณมักจะหามันได้ตามความต้องการจากผู้ให้บริการหลายราย รวมถึงในระดับ spot หรือ interruptible ที่มีส่วนลดสำหรับงานที่ทนต่อความผิดพลาดหรือมีการบันทึกจุดตรวจ อัตราที่แน่นอนเปลี่ยนแปลงตลอดเวลาและแตกต่างกันไปตามภูมิภาคและรุ่น ดังนั้นควรใช้การเปรียบเทียบสดข้างต้นแทนตัวเลขคงที่

ก่อนเช่า ให้ตรวจสอบรายละเอียดที่ส่งผลต่อผลลัพธ์ของคุณจริงๆ:

• รุ่นหน่วยความจำ: 40 GB หรือ 80 GB เพราะสิ่งนี้กำหนดขนาดโมเดลและขนาดแบตช์ที่คุณสามารถใช้งานได้
• การเชื่อมต่อ บนโหนดหลาย GPU: NVLink/NVSwitch จริงหรือ PCIe เท่านั้น
• ความละเอียดในการคิดค่าบริการ (ต่อวินาทีหรือชั่วโมง) และว่างานของคุณรองรับการหยุดชั่วคราวในโหมด spot หรือไม่
• การจัดเก็บและการส่งออก: NVMe ท้องถิ่นที่รวดเร็วสำหรับชุดข้อมูลและค่าธรรมเนียมการโอนข้อมูลที่อาจสูงกว่าค่าใช้จ่าย GPU
• ภูมิภาคและโควต้า ซึ่งมีผลต่อราคาและความเร็วในการขยายไปยังการ์ดหลายใบ

คำถามที่พบบ่อย

ความแตกต่างระหว่าง A100 40 GB กับ 80 GB คืออะไร?

ทั้งสองใช้ชิปคำนวณ Ampere เดียวกัน ดังนั้นความเร็วคำนวณสูงสุดจึงใกล้เคียงกัน รุ่น 80 GB ใช้หน่วยความจำ HBM2e ที่เร็วกว่าและมีแบนด์วิดท์สูงกว่า (ประมาณ 2 TB/s) และความจุสองเท่า ซึ่งช่วยงานที่จำกัดด้วยหน่วยความจำ โมเดลขนาดใหญ่ และขนาดแบตช์ที่ใหญ่ขึ้น หากโมเดลหรือบริบทของคุณมีขนาดใหญ่ ควรเลือกใช้รุ่น 80 GB

A100 ยังคุ้มค่าที่จะเช่าแทน GPU รุ่นใหม่หรือไม่?

บ่อยครั้งใช่ สำหรับการปรับแต่งส่วนใหญ่ การฝึกอบรมขนาดกลางถึงใหญ่ และการอนุมานที่มีประสิทธิภาพสูง A100 ให้ประสิทธิภาพที่แข็งแกร่งในอัตราค่าเช่าที่ต่ำกว่าและมีความพร้อมใช้งานกว้างกว่าการ์ดรุ่นใหม่ เหตุผลหลักในการเลือกซิลิคอนรุ่นใหม่คือการรองรับ FP8 เนทีฟ หน่วยความจำต่อการ์ดที่ใหญ่ขึ้น หรือการฝึกอบรมขนาดใหญ่ระดับแนวหน้าที่เร็วที่สุด

A100 สามารถทำการฝึกอบรมหรืออนุมาน FP8 ได้หรือไม่?

ไม่ได้ การรองรับฮาร์ดแวร์ FP8 เนทีฟมาพร้อมกับเจเนอเรชัน Hopper หลังจาก Ampere A100 รองรับ TF32, FP16, BF16, INT8 และ FP64 รวมถึงโครงสร้างความเบาบาง แต่ถ้าสูตรของคุณต้องการ FP8 ในฮาร์ดแวร์ คุณควรเลือก GPU รุ่นใหม่จากการเปรียบเทียบข้างต้น

ต้องใช้ A100 กี่ตัวสำหรับการฝึกอบรมแบบหลาย GPU?

ขึ้นอยู่กับขนาดโมเดลและกลยุทธ์การขนาน แต่สิ่งสำคัญคือการเลือกโหนดที่มีการเชื่อมต่อ NVLink หรือ NVSwitch จริงแทนกล่องที่มีแต่ PCIe เพราะแบนด์วิดท์ระหว่าง GPU มีผลอย่างมากต่อประสิทธิภาพการขยายตัว ยืนยันการเชื่อมต่อและใช้การบันทึกจุดตรวจหากคุณเช่าในโหมด interruptible/spot