การ์ดจอคลาวด์ที่ดีที่สุดสำหรับการฝึกอบรมโมเดล AI

สิ่งที่การฝึกสอนโมเดล AI ต้องการจาก GPU เช่า

การฝึกสอนเป็นขั้นตอนที่ใช้ทรัพยากรมากที่สุดในวงจรชีวิตของการเรียนรู้ของเครื่อง แตกต่างจากการอนุมานที่รันโมเดลที่เสร็จสมบูรณ์ไปข้างหน้าเพียงครั้งเดียวต่อคำขอ การฝึกสอนจะผลักดันชุดข้อมูลไปข้างหน้าและถอยหลังผ่านเครือข่ายซ้ำ ๆ คำนวณเกรเดียนต์และอัปเดตพารามิเตอร์นับล้านหรือนับพันล้านตัวในหลายยุค รูปแบบที่ทำซ้ำได้และใช้เวลานานพร้อมกับการใช้หน่วยความจำมากนี้คือสิ่งที่แยกความแตกต่างระหว่างการเช่าฝึกสอนที่ดีและแค่ราคาถูก การเปรียบเทียบข้างต้นถูกกรองให้เหมาะกับอินสแตนซ์ที่เหมาะกับงานนี้ แต่การรู้ว่า ทำไม พวกเขาถึงมีคุณสมบัติช่วยให้คุณอ่านได้อย่างถูกต้อง.

เมื่อคุณฝึกสอน GPU ต้องเก็บมากกว่าน้ำหนักโมเดล มันเก็บการกระตุ้นสำหรับการถอยหลัง เกรเดียนต์ และสถานะของออปติไมเซอร์พร้อมกัน ด้วยออปติไมเซอร์ทั่วไปเช่น Adam สถานะของออปติไมเซอร์เพียงอย่างเดียวสามารถเพิ่มขนาดหน่วยความจำของน้ำหนักได้ประมาณสามเท่า เพราะมันติดตามโมเมนตัมและตัวแปรนอกเหนือจากพารามิเตอร์ นี่คือเหตุผลสำคัญที่สุดที่การ์ดที่สามารถรันการอนุมานสำหรับโมเดลที่กำหนดได้อย่างสบายอาจหมดหน่วยความจำทันทีที่คุณพยายามปรับแต่งหรือฝึกล่วงหน้า

สเปคที่สำคัญที่สุดสำหรับการฝึกสอน

• ความจุ VRAM คือประตูหลัก มันกำหนดโมเดลและขนาดชุดข้อมูลที่ใหญ่ที่สุดที่คุณสามารถใส่ได้ก่อนที่จะต้องใช้การตรวจสอบเกรเดียนต์ การถ่ายโอนข้อมูล หรือการแบ่งโหลดข้าม GPU หลายตัว ตัวเร่งความเร็วในศูนย์ข้อมูลที่มีหน่วยความจำแบนด์วิดธ์สูง (HBM) มี VRAM มากกว่าการ์ดผู้บริโภคมาก ซึ่งเป็นเหตุผลที่การฝึกสอนจริงจังมักเลือกใช้
• แบนด์วิดธ์หน่วยความจำ ช่วยให้อุปกรณ์คำนวณได้รับข้อมูลอย่างต่อเนื่อง การฝึกสอนมักถูกจำกัดด้วยหน่วยความจำ ดังนั้นแบนด์วิดธ์ระดับ HBM จึงมักสำคัญกว่าความเร็วสูงสุดของ FLOPS การ์ดที่ขาดแบนด์วิดธ์จะทำให้คอร์เทนเซอร์ว่างงาน
• การรองรับความแม่นยำต่ำ มีผลโดยตรงต่อความเร็ว คอร์เทนเซอร์เร่งความเร็ว FP16 และ BF16 และสถาปัตยกรรมใหม่ ๆ เพิ่ม FP8 BF16 มีคุณค่าโดยเฉพาะสำหรับการฝึกสอนเพราะช่วงเลขชี้กำลังที่กว้างกว่าช่วยต้านการล้นและการขาดช่วงที่เกิดกับ FP16 ทำให้การรันแบบความแม่นยำผสมเสถียรกว่า
• การเชื่อมต่อ กำหนดว่าคุณสามารถขยายเกิน GPU ตัวเดียวได้ดีแค่ไหน NVLink ระหว่างการ์ดในโหนด และเครือข่ายความเร็วสูงเช่น InfiniBand ระหว่างโหนด กำหนดว่าการซิงโครไนซ์เกรเดียนต์จะกลายเป็นคอขวดหรือไม่ การตั้งค่าหลาย GPU ที่ใช้ PCIe อย่างเดียวอาจติดขัดในการสื่อสารระหว่างการฝึกสอนแบบกระจาย

การฝึกสอนแบบ GPU เดียว หลาย GPU และหลายโหนด

ไม่ใช่งานฝึกสอนทุกงานที่ต้องใช้คลัสเตอร์ จับคู่ขนาดการเช่ากับขนาดงาน:

• GPU เดียว เพียงพอสำหรับโมเดลขนาดเล็ก การปรับแต่งที่ประหยัดพารามิเตอร์ (เช่น อะแดปเตอร์สไตล์ LoRA) และการทดลองส่วนใหญ่ ที่นี่คุณต้องการ VRAM ที่ใหญ่ที่สุดเท่าที่จะเป็นไปได้เพื่อหลีกเลี่ยงการแก้ไขงานด้วยไมโครบัช
• หลาย GPU ในโหนดเดียว เหมาะสำหรับการปรับแต่งเต็มรูปแบบและโมเดลขนาดกลาง การทำงานแบบขนานข้อมูลจะทำสำเนาโมเดลและแบ่งชุดข้อมูล นี่คือที่ที่ NVLink มีประโยชน์โดยช่วยเร่งขั้นตอน all-reduce ที่เฉลี่ยเกรเดียนต์ข้ามการ์ด
• คลัสเตอร์หลายโหนด จำเป็นสำหรับการฝึกล่วงหน้าขนาดใหญ่ ซึ่งโมเดลจะถูกแบ่งโหลดด้วยการขนานเทนเซอร์, ไพพ์ไลน์ หรือการขนานข้อมูลแบบแบ่งโหลดเต็มที่ ในระดับนี้ แบนด์วิดธ์และโทโพโลยีเครือข่ายระหว่างโหนดมีความสำคัญเท่ากับ GPU และเครือข่ายช้าอาจลบล้างประโยชน์ของการเพิ่มฮาร์ดแวร์

คุณสมบัติของผู้ให้บริการที่ทำให้การฝึกสอนสำเร็จหรือล้มเหลว

ฮาร์ดแวร์เป็นเพียงครึ่งหนึ่งของการตัดสินใจ งานฝึกสอนที่ใช้เวลานานเผยรายละเอียดการดำเนินงานที่งานอนุมานสั้น ๆ ไม่เคยสัมผัส:

• ความเร็วในการจัดเก็บข้อมูล สำคัญเพราะสายข้อมูลต้องเลี้ยง GPU โดยไม่ให้หยุดชะงัก ชุดข้อมูลขนาดใหญ่ต้องการที่เก็บข้อมูลที่รวดเร็วและถาวรใกล้กับเครื่องคำนวณ ดิสก์ช้า หรือบัคเก็ตระยะไกลอาจทำให้ GPU ที่มีศักยภาพถูกจำกัด
• อินสแตนซ์แบบสปอตกับแบบออนดีมานด์ เป็นการแลกเปลี่ยนที่แท้จริงสำหรับการฝึกสอน อินสแตนซ์ที่ถูกขัดจังหวะช่วยลดต้นทุนอย่างมาก แต่การถูกยกเลิกกลางคันจะทำให้ความก้าวหน้าสูญเปล่าหากไม่บันทึกสถานะบ่อยและไม่สามารถเริ่มใหม่ได้อย่างสะอาด อินสแตนซ์ออนดีมานด์หรือความจุที่จองไว้ซื้อความน่าเชื่อถือสำหรับงานที่ไม่สามารถเสียได้
• การรองรับการบันทึกสถานะและโวลุ่มถาวร ช่วยให้คุณรอดพ้นจากการถูกขัดจังหวะ หยุดเพื่อดูผลลัพธ์ และเริ่มใหม่โดยไม่ต้องอัปโหลดทุกอย่างใหม่ สิ่งนี้จำเป็นสำหรับการรันหลายวัน
• ความละเอียดในการเรียกเก็บเงิน มีผลต่อต้นทุนรวม การเรียกเก็บเงินเป็นวินาทีหรือเป็นนาทีให้รางวัลกับการทดลองสั้น ๆ ที่ทำซ้ำได้ ในขณะที่การปัดเศษเป็นชั่วโมงทำให้การเริ่ม-หยุดบ่อยครั้งในระหว่างการพัฒนามีค่าใช้จ่ายสูง
• ความพร้อมใช้งานของหลาย GPU และหลายโหนด ควรได้รับการยืนยันล่วงหน้า การจองการ์ดแปดใบในโหนดเดียว หรือหลายโหนดที่เชื่อมต่อกัน ยากกว่าการเช่า GPU เดียว และความขาดแคลนแตกต่างกันไป

วิธีอ่านการเปรียบเทียบข้างต้นสำหรับงานฝึกสอน

เริ่มจากขนาดโมเดลและชุดข้อมูลของคุณ จากนั้นทำงานออกไป ประเมินหน่วยความจำที่ต้องการสำหรับน้ำหนัก บวกเกรเดียนต์ บวกสถานะออปติไมเซอร์ และกรองอินสแตนซ์ที่ VRAM ผ่านเกณฑ์นั้นพร้อมพื้นที่ว่าง จากนั้นตัดสินใจว่า GPU ตัวเดียวพอหรือไม่ หรือว่าคุณต้องการหลาย GPU ที่เชื่อมต่อด้วย NVLink หรือคลัสเตอร์ที่เชื่อมต่อเครือข่าย และตรวจสอบว่าอินสแตนซ์ที่เลือกมีโทโพโลยีนั้นหรือไม่ จากนั้นจึงพิจารณาราคาและรูปแบบการเรียกเก็บเงิน อินสแตนซ์ที่มีราคาแพงกว่านิดหน่อยแต่มี VRAM มากกว่าและการเชื่อมต่อที่เร็วกว่า มักจะเสร็จเร็วกว่าและมีต้นทุนน้อยกว่าการ์ดราคาถูกที่บังคับให้คุณใช้วิธีแก้ไขช้า เพราะอัตราค่าเช่าเปลี่ยนแปลงตลอดเวลาและแตกต่างกันระหว่างผู้ให้บริการ ให้ถือว่าตัวเลขสดในตารางข้างต้นเป็นแหล่งข้อมูลที่ถูกต้องแทนตัวเลขที่อ้างถึงในข้อความ

คำถามที่พบบ่อย

ฉันต้องการหน่วยความจำ GPU เท่าไหร่ในการฝึกสอนโมเดล?

ควรเผื่อหน่วยความจำมากกว่าจำนวนพารามิเตอร์ของโมเดลอย่างมาก นอกจากน้ำหนักแล้ว คุณต้องเก็บการกระตุ้นสำหรับการถอยหลัง เกรเดียนต์ และสถานะออปติไมเซอร์ ซึ่งกับออปติไมเซอร์สไตล์ Adam สามารถเพิ่มขนาดหน่วยความจำของน้ำหนักได้ประมาณสามเท่า ความแม่นยำผสมและเทคนิคเช่นการตรวจสอบเกรเดียนต์หรือการถ่ายโอนข้อมูลช่วยลดความต้องการได้ แต่แนวทางที่ปลอดภัยคือเลือก VRAM ที่มีพื้นที่ว่างมากกว่าการพอดีเป๊ะ

อินสแตนซ์แบบสปอตหรือที่ถูกขัดจังหวะปลอดภัยสำหรับงานฝึกสอนหรือไม่?

ได้ หากคุณบันทึกสถานะบ่อยและโค้ดของคุณสามารถเริ่มใหม่ได้อย่างสะอาดจากสถานะบันทึกล่าสุด ความจุแบบสปอตช่วยลดต้นทุนอย่างมีนัยสำคัญ แต่สามารถถูกเรียกคืนได้ทุกเมื่อ ดังนั้นจึงเหมาะกับงานที่ทนต่อความผิดพลาดหรือการทดลองมากกว่างานยาวที่ไม่สามารถแทนที่ได้ สำหรับงานฝึกสอนที่ไม่สามารถเริ่มใหม่ได้ ความจุแบบออนดีมานด์หรือจองไว้ล่วงหน้าคือทางเลือกที่ปลอดภัยกว่า

ฉันต้องใช้หลาย GPU ในการฝึกสอนหรือ GPU ตัวเดียวพอ?

ขึ้นอยู่กับขนาดโมเดลและชุดข้อมูล โมเดลขนาดเล็ก การปรับแต่ง และวิธีที่ประหยัดพารามิเตอร์มักทำงานได้ดีบน GPU ตัวเดียวที่มี VRAM สูง การปรับแต่งเต็มรูปแบบและโมเดลขนาดใหญ่ได้ประโยชน์จากโหนดหลาย GPU ที่มีการเชื่อมต่อเร็ว และงานฝึกล่วงหน้าขนาดใหญ่มากเท่านั้นที่ต้องใช้คลัสเตอร์หลายโหนดที่มีเครือข่ายความเร็วสูงระหว่างเครื่อง

ทำไมการเชื่อมต่อจึงสำคัญมากสำหรับการฝึกสอน?

การฝึกสอนแบบกระจายต้องซิงโครไนซ์เกรเดียนต์ข้าม GPU อย่างต่อเนื่อง หากลิงก์ระหว่างการ์ดหรือโหนดช้า การสื่อสารนั้นจะติดขัดในทุกขั้นตอนและ GPU จะว่างงานรอซึ่งกันและกัน การเชื่อมต่อที่รวดเร็วเช่น NVLink ภายในโหนดและ InfiniBand ระหว่างโหนดช่วยป้องกันไม่ให้การซิงโครไนซ์กลายเป็นคอขวด ดังนั้นการเพิ่มฮาร์ดแวร์จึงเร่งความเร็วการรันแทนที่จะเพิ่มภาระงาน