ผู้ให้บริการ GPU บนคลาวด์ที่มีคลัสเตอร์ GPU หลายโหนด

ความหมายของคลัสเตอร์ GPU แบบหลายโหนดเมื่อเช่าเครื่องคำนวณ

การตั้งค่าแบบหลายโหนดคือการที่งานเดียวครอบคลุมมากกว่าหนึ่งเซิร์ฟเวอร์จริง โดยที่ GPU ในแต่ละกล่องเชื่อมต่อกับ GPU ในกล่องอื่นผ่านเครือข่ายความเร็วสูง โหนดเดียวมักจะมี GPU สี่หรือแปดตัวบนเมนบอร์ดเดียวกัน เชื่อมต่อภายในด้วย NVLink หรือ PCIe เมื่อโมเดล ชุดข้อมูล หรือการจำลองของคุณมีขนาดใหญ่เกินกว่าที่ GPU แปดตัวและหน่วยความจำรวมจะรองรับได้ คุณต้องขยาย ออก ข้ามโหนดแทนที่จะ เพิ่ม ภายในโหนดเดียว ค่า “yes” ในตัวกรองนี้หมายถึงผู้ให้บริการที่อนุญาตให้คุณเช่าและจัดการคลัสเตอร์ที่เชื่อมต่อกันเหล่านั้นเป็นหน่วย แทนที่จะให้เซิร์ฟเวอร์เดี่ยวแยกกันที่คุณต้องเชื่อมต่อเอง.

ความแตกต่างนี้สำคัญเพราะการสื่อสารข้ามโหนดคือคอขวดในการฝึกแบบกระจายและ HPC ขนาดใหญ่ กราดิเอนต์ การเปิดใช้งาน และชิ้นส่วนพารามิเตอร์ต้องเคลื่อนย้ายระหว่างเซิร์ฟเวอร์หลายพันครั้งในแต่ละขั้นตอนการฝึก และความเร็วของการเคลื่อนย้ายนั้นมักจะเป็นตัวกำหนดว่าการเพิ่ม GPU จะทำให้งานของคุณเร็วขึ้นจริงหรือแค่มีค่าใช้จ่ายมากขึ้นเท่านั้น

เหตุใดการเชื่อมต่อจึงเป็นผลิตภัณฑ์ที่แท้จริง

เมื่อคุณเช่าคลัสเตอร์แบบหลายโหนด คุณกำลังเช่า เครือข่ายระหว่างโหนดมากเท่ากับ GPU เอง เครือข่ายที่เกี่ยวข้องมีความแตกต่างอย่างมากในความสามารถ:

• InfiniBand คือมาตรฐานระดับสูงสำหรับคลัสเตอร์ฝึก AI ให้แบนด์วิดท์สูงต่อพอร์ตและที่สำคัญคือ RDMA — การเข้าถึงหน่วยความจำโดยตรงระยะไกล — ทำให้ GPU หนึ่งสามารถอ่านหน่วยความจำของโหนดอื่นโดยไม่ต้องผ่าน CPU.
• RoCE (RDMA over Converged Ethernet) นำพฤติกรรมแบบ RDMA มาสู่ฮาร์ดแวร์อีเทอร์เน็ตและพบได้ทั่วไปในเครือข่ายคลาวด์ที่ปรับแต่งสำหรับงานแบบกระจาย
• อีเทอร์เน็ต TCP/IP ธรรมดา เหมาะสำหรับงานที่เชื่อมโยงกันหลวม ๆ แต่เพิ่มความหน่วงและภาระ CPU ที่ทำลายประสิทธิภาพของการฝึกที่ซิงโครไนซ์อย่างเข้มงวด
• GPUDirect RDMA ช่วยให้การ์ดเครือข่ายย้ายข้อมูลตรงเข้าสู่หน่วยความจำ GPU โดยข้ามการคัดลอกผ่าน RAM ของระบบ ซึ่งเป็นสิ่งที่ทำให้การดำเนินการ all-reduce ขนาดใหญ่สามารถขยายได้

คลัสเตอร์สองชุดที่มี GPU เหมือนกันสามารถให้ผลลัพธ์ผ่านข้อมูลแตกต่างกันมากในการฝึกเดียวกันเพียงเพราะชุดหนึ่งมี InfiniBand แบบไม่บล็อกพร้อม GPUDirect และอีกชุดหนึ่งส่งข้อมูลผ่านอีเทอร์เน็ตที่แออัด นี่คือเหตุผลที่การเปรียบเทียบข้างต้นควรอ่านอย่างละเอียดในมิติของเครือข่ายมากกว่าการนับจำนวน GPU เพียงอย่างเดียว

ประสิทธิภาพการขยายตัว ไม่ใช่จำนวน GPU ดิบ

ตัวเลขที่สำคัญที่สุดคือ ประสิทธิภาพการขยายตัว: หากสองโหนดให้ผลลัพธ์ 1.9 เท่าของโหนดเดียว นั่นยอดเยี่ยมมาก หากได้ 1.2 เท่า ฮาร์ดแวร์ส่วนเกินส่วนใหญ่ถูกใช้ไปกับภาระการสื่อสาร งานที่ต้องซิงโครไนซ์อย่างเข้มงวดในทุกขั้นตอน — การฝึกโมเดลขนาดใหญ่ การฝึกแบบแบ่งโมเดลและแบบพายป์ไลน์ — จะได้รับผลกระทบมากที่สุดจากเครือข่ายที่อ่อนแอ งานที่แยกกันทำได้ง่าย เช่น การรันงานอนุมานอิสระจำนวนมากหรือการค้นหาพารามิเตอร์แบบกวาด จะทนต่อการเชื่อมต่อที่ช้ากว่าเพราะโหนดแทบจะไม่สื่อสารกัน

สิ่งที่การใช้หลายโหนดปลดล็อกจริงๆ

การเช่าคลัสเตอร์ที่เชื่อมต่อกันทำให้งานต่อไปนี้เป็นไปได้จริง:

• การฝึกโมเดลขนาดใหญ่ ที่พารามิเตอร์ของโมเดล สถานะของออปติไมเซอร์ และกราดิเอนต์ไม่สามารถเก็บในหน่วยความจำ GPU รวมของโหนดเดียวได้ ต้องแบ่งชิ้นข้อมูลข้าม GPU หลายตัวโดยใช้เทนเซอร์ พายป์ไลน์ หรือการขนานข้อมูลแบบแบ่งชิ้นเต็มรูปแบบ
• การฝึกแบบขนานข้อมูลแบบกระจาย ในระดับใหญ่ ที่คุณทำสำเนาโมเดลข้าม GPU หลายสิบหรือหลายร้อยตัวเพื่อลดเวลาฝึกแบบนาฬิกา
• HPC และการจำลองทางวิทยาศาสตร์ที่เชื่อมโยงกันอย่างเข้มงวด — เช่น พลศาสตร์ของของไหล การจำลองโมเลกุล สภาพอากาศ — ที่ใช้ MPI เพื่อแลกเปลี่ยนข้อมูลข้ามคลัสเตอร์ในทุกการวนรอบ
• ฟาร์มอนุมานหรือเรนเดอร์แบบแบตช์ขนาดใหญ่ ที่กระจายงานไปยังเครื่องหลายเครื่อง แม้งานเหล่านี้จะไม่ค่อยสนใจเครือข่ายมากนัก

ถ้างานของคุณพอดีกับโหนดที่มี GPU แปดตัว การใช้หลายโหนดมักจะ เกินความจำเป็น — คุณต้องรับภาระความซับซ้อนในการจัดการและความเสี่ยงจากภาระเครือข่ายโดยไม่มีประโยชน์ ควรขยายออกเมื่อความจุหน่วยความจำหรือเวลาฝึกบังคับจริงๆ

สิ่งที่ควรตรวจสอบก่อนเช่าคลัสเตอร์

แท็ก “yes” บอกว่าผู้ให้บริการรองรับหลายโหนด แต่คุณภาพการรองรับแตกต่างกันมาก ก่อนตัดสินใจเปรียบเทียบประเด็นเหล่านี้กับรายการข้างต้น:

• ประเภทเครือข่ายและแบนด์วิดท์ต่อโหนด — เป็น InfiniBand, RoCE หรืออีเทอร์เน็ตธรรมดา และมี RDMA / GPUDirect หรือไม่?
• โทโพโลยีและความใกล้ชิด — โหนดตั้งอยู่ใกล้กัน (ในแร็คหรือพ็อดเดียวกัน) พร้อมแบนด์วิดท์ไม่บล็อก หรือกระจายอยู่ทั่วภูมิภาคที่ความหน่วงเพิ่มขึ้น?
• การจัดการ — ผู้ให้บริการให้คลัสเตอร์ Slurm หรือ Kubernetes พร้อมไดรเวอร์เครือข่ายและ NCCL ที่ตั้งค่าไว้แล้ว หรือแค่ VM เปล่าที่คุณต้องเชื่อมต่อเอง?
• รูปแบบการจัดสรร — คุณสามารถรับคลัสเตอร์ทั้งหมดได้ทันที หรือเฉพาะผ่านการจองล่วงหน้าหรือรอคิว เพราะบล็อกขนาดใหญ่ติดกันหายาก?
• การคิดค่าบริการสำหรับงานทั้งหมด — คุณจ่ายสำหรับทุกโหนดตลอดเวลารันงาน ดังนั้นเครือข่ายที่ลดประสิทธิภาพการขยายตัวจะเพิ่มต้นทุนโดยตรง
• ที่เก็บข้อมูลความเร็วสูงแบบแชร์ — งานแบบกระจายต้องการระบบไฟล์คู่ขนานที่ทุกโหนดอ่านได้รวดเร็ว มิฉะนั้นการโหลดข้อมูลจะกลายเป็นคอขวด

เนื่องจากความจุแบบหลายโหนดที่ติดกันหาได้ยากกว่าการใช้เครื่องเดี่ยว ความพร้อมใช้งานและเงื่อนไขการให้บริการแบบทันทีเทียบกับการจองล่วงหน้าจึงมักสำคัญกว่าราคาต่อชั่วโมงที่ประกาศ ใช้การเปรียบเทียบข้างต้นสำหรับราคาปัจจุบันและความจุ และพิจารณาคุณภาพเครือข่ายและการจัดการ ไม่ใช่แค่จำนวน GPU

คำถามที่พบบ่อย

เมื่อไหร่ที่ฉันต้องใช้หลายโหนดแทนเซิร์ฟเวอร์เดี่ยว?

คุณต้องใช้เมื่อภาระงานของคุณไม่พอดีกับจำนวน GPU หรือหน่วยความจำรวมของโหนดเดียว — โดยปกติคือการฝึกโมเดลขนาดใหญ่ การปรับแต่งแบบแบ่งชิ้น หรือ HPC ที่เชื่อมโยงกันอย่างเข้มงวด หากโมเดลและแบตช์ของคุณพอดีกับกล่องที่มี GPU สี่หรือแปดตัว โหนดเดียวจะง่ายกว่า ถูกกว่า และหลีกเลี่ยงภาระข้ามโหนดได้ทั้งหมด

การใช้หลายโหนดทำให้การฝึกเร็วขึ้นโดยอัตโนมัติหรือไม่?

ไม่ใช่โดยอัตโนมัติ ความเร็วขึ้นอยู่กับประสิทธิภาพการขยายตัว ซึ่งถูกควบคุมโดยการเชื่อมต่อเครือข่าย ด้วย InfiniBand หรือ RoCE ที่รวดเร็วพร้อม RDMA คุณสามารถเข้าใกล้การขยายตัวเชิงเส้นในงานที่ปรับแต่งดีได้ แต่ถ้าใช้เพียงอีเทอร์เน็ตธรรมดา ภาระการสื่อสารจะกินส่วนใหญ่ของผลประโยชน์ ทำให้โหนดเพิ่มต้นทุนโดยไม่ลดเวลาฝึกอย่างสัดส่วน

ควรมองหาเครือข่ายแบบใดในการเปรียบเทียบข้างต้น?

สำหรับการฝึกที่ซิงโครไนซ์อย่างเข้มงวด ให้ให้ความสำคัญกับ InfiniBand หรือ RoCE พร้อม GPUDirect RDMA และโทโพโลยีไม่บล็อกที่โหนดตั้งอยู่ใกล้กัน สำหรับงานที่เชื่อมโยงกันหลวม เช่น งานอนุมานอิสระหรือการค้นหาพารามิเตอร์ อีเทอร์เน็ตความเร็วสูงธรรมดาก็มักเพียงพอ คุณจึงสามารถเลือกตามราคาและความพร้อมใช้งานแทนได้

ทำไมความจุแบบหลายโหนดจึงมักเช่าแบบทันทีได้ยาก?

คลัสเตอร์หลายโหนดต้องการบล็อก GPU ขนาดใหญ่ที่ติดกันซึ่งอยู่ใกล้กันจริงและเชื่อมต่อเข้ากับเครือข่ายความหน่วงต่ำเดียวกัน ความจุแบบนี้หายากกว่าการใช้เครื่องเดี่ยวที่กระจายอยู่ ผู้ให้บริการจึงมักจำกัดไว้เฉพาะการจองล่วงหน้าหรือรอคิว ตรวจสอบความพร้อมใช้งานและเงื่อนไขการจัดสรรในรายการข้างต้น ไม่ใช่แค่ราคา