ผู้ให้บริการคลาวด์ GPU ที่มี NVLink หรือ InfiniBand

NVLink และ InfiniBand ทำอะไรจริงๆ เมื่อคุณเช่าเครื่องคำนวณแบบหลาย GPU

NVLink และ InfiniBand แก้ปัญหาพื้นฐานเดียวกันจากสองด้านของเครื่อง: การเคลื่อนย้ายข้อมูลระหว่าง GPU ให้เร็วพอที่ตัวเร่งความเร็วจะใช้เวลาคำนวณมากกว่ารอ การกรองด้านบนจำกัดรายการให้เหลือเฉพาะอินสแตนซ์คลาวด์ที่เปิดเผยหนึ่งหรือทั้งสองการเชื่อมต่อเหล่านี้ พวกมันไม่สามารถแทนที่กันได้ — อย่างหนึ่งเป็น โครงข่ายภายในโหนด ที่เชื่อมต่อ GPU ภายในเซิร์ฟเวอร์เดียว และอีกอย่างเป็น โครงข่ายระหว่างโหนด ที่เชื่อมต่อเซิร์ฟเวอร์เข้าด้วยกันเป็นคลัสเตอร์ สำหรับงานใดๆ ที่ข้ามมากกว่าหนึ่ง GPU การเชื่อมต่อมักเป็นตัวแปรที่ทำให้การขยายขนาดเกือบเป็นเส้นตรง หรือเป็นการตั้งค่าที่เพิ่ม GPU แล้วแทบไม่ช่วยอะไรเลย

NVLink: ทางด่วนระหว่าง GPU ภายในกล่องเดียว

NVLink คือการเชื่อมต่อ GPU ต่อ GPU โดยตรงของ NVIDIA แทนที่จะส่งข้อมูลผ่านบัส PCIe ของโฮสต์และ CPU, NVLink เชื่อมต่อ GPU เข้าหากัน (และในบางแพลตฟอร์มผ่าน NVSwitch crossbar) เพื่อให้ GPU ทุกตัวในโหนดสามารถสื่อสารกันได้ด้วยแบนด์วิดท์สูงและความหน่วงต่ำ ผลลัพธ์ที่เป็นรูปธรรมเมื่อคุณเช่าอินสแตนซ์ที่มี NVLink คือ

• แบนด์วิดท์ระหว่าง GPU สูงกว่ามาก เมื่อเทียบกับโหนดที่ใช้ PCIe เพียงอย่างเดียว ซึ่งสำคัญเมื่อใดก็ตามที่ต้องแลกเปลี่ยนเกรเดียนต์, การกระตุ้น หรือชิ้นส่วนโมเดลในทุกขั้นตอน
• หน่วยความจำรวมกันระหว่าง GPU ในทางปฏิบัติ — โมเดลที่ใหญ่เกินกว่าหน่วยความจำ VRAM ของ GPU ตัวเดียวสามารถแบ่งออกเป็นส่วนๆ ในโดเมน NVLink โดยที่การรับส่งข้อมูลข้าม GPU ยังคงอยู่บนโครงข่ายความเร็วสูงแทนที่จะช้าเหมือนผ่าน PCIe
• ลดภาระการซิงโครไนซ์ สำหรับการดำเนินการแบบรวม เช่น all-reduce ซึ่งเป็นส่วนใหญ่ของการฝึกแบบขนานข้อมูล

NVLink อยู่ภายในโหนดเดียว ดังนั้นขอบเขตจึงมักเป็น 2, 4 หรือ 8 GPU ขึ้นอยู่กับการออกแบบเซิร์ฟเวอร์ หากผู้ให้บริการในรายการด้านบนโฆษณาโหนด 8 GPU “พร้อม NVLink” นั่นหมายความว่าการ์ดทั้งแปดใบเชื่อมต่อกันอย่างแน่นหนา แต่นั่นไม่ได้บอกอะไรเกี่ยวกับการเชื่อมต่อโหนดนั้นกับโหนดอื่นๆ

InfiniBand: โครงข่ายที่เปลี่ยนเซิร์ฟเวอร์หลายเครื่องให้เป็นคลัสเตอร์เดียว

InfiniBand คือเทคโนโลยีเครือข่ายที่ใช้เชื่อมต่อเซิร์ฟเวอร์ GPU แยกกัน เมื่อการฝึกงานเกินขนาดโหนดเดียว คอขวดจะเปลี่ยนจากภายในกล่องไปสู่ระหว่างกล่อง และเครือข่ายอีเธอร์เน็ตธรรมดาอาจทำให้ GPU หยุดชะงัก InfiniBand แก้ปัญหานี้ด้วยอัตราการส่งข้อมูลต่อการเชื่อมต่อต่ำมากและความหน่วงที่ต่ำและคาดเดาได้ รวมถึง RDMA (remote direct memory access) ที่ช่วยให้เซิร์ฟเวอร์หนึ่งอ่านหรือเขียนหน่วยความจำของเซิร์ฟเวอร์อีกเครื่องโดยไม่ต้องใช้ CPU ของทั้งสองฝ่าย เมื่อจับคู่กับ GPUDirect RDMA ข้อมูลสามารถเคลื่อนย้ายจาก GPU ไปยัง GPU ข้ามโหนดโดยข้ามการคัดลอกหน่วยความจำของโฮสต์ได้มาก

สำหรับการฝึกแบบหลายโหนด นี่คือสิ่งที่ทำให้การขยายขนาดมีประสิทธิภาพ เหตุผลที่คลัสเตอร์ของ GPU หลายสิบหรือหลายร้อยตัวสามารถฝึกโมเดลใหญ่ในเวลาที่เหมาะสมได้คือโครงข่ายระหว่างโหนดสามารถตามทันการสื่อสารแบบรวมที่อัลกอริทึมต้องการ หากใช้เครือข่ายธรรมดา งานเดียวกันอาจใช้เวลาส่วนใหญ่ของเวลาทำงานรอเครือข่าย

งานประเภทใดที่ต้องการสิ่งนี้จริงๆ

การกรองสำหรับ NVLink หรือ InfiniBand มีความหมายเมื่อการสื่อสาร ไม่ใช่แค่การคำนวณดิบ เป็นเส้นทางวิกฤต:

• การฝึกและปรับแต่งโมเดลขนาดใหญ่ ที่แบ่งพารามิเตอร์, สถานะตัวปรับแต่ง หรือเลเยอร์ข้าม GPU (การขนานข้อมูลแบบเทนเซอร์, สายการผลิต หรือแบบแบ่งข้อมูลเต็มรูปแบบ) — วิธีเหล่านี้สร้างการรับส่งข้อมูลข้าม GPU อย่างต่อเนื่องและได้รับประโยชน์สูงสุดจาก NVLink ภายในโหนดและ InfiniBand ข้ามโหนด
• การฝึกแบบกระจายหลายโหนด ที่งานไม่สามารถใส่ในเซิร์ฟเวอร์เดียวได้ — ที่นี่ InfiniBand เป็นปัจจัยตัดสินประสิทธิภาพการขยายขนาด
• HPC และการจำลองทางวิทยาศาสตร์ ที่ต้องการการสื่อสารระหว่างกระบวนการอย่างเข้มงวด ซึ่งพึ่งพา InfiniBand และ RDMA มาหลายปี
• การอนุมานโมเดลขนาดใหญ่หรือบริบทขนาดใหญ่ ที่แบ่งโมเดลเดียวข้ามหลาย GPU โดย NVLink ช่วยลดโทษความหน่วงของการเข้าถึงน้ำหนักและความสนใจข้าม GPU

สิ่งนี้เกินความจำเป็นสำหรับงาน GPU เดียว การปรับแต่งโมเดลเล็ก การรันอนุมานแบบแบตช์ที่พอดีกับการ์ดเดียว งานเรนเดอร์ส่วนใหญ่ และการทดลองทั้งหมดทำงานได้ดีบน GPU เดี่ยว การจ่ายเงินพรีเมียมสำหรับโหนดที่เชื่อมต่อกันแน่นหรือคลัสเตอร์ InfiniBand ไม่มีประโยชน์ถ้างานของคุณไม่ข้ามขอบเขต GPU

สิ่งที่ควรตรวจสอบก่อนเช่า

การเชื่อมต่อสองแบบนี้มักถูกสับสนในข้อความการตลาด ดังนั้นควรตรวจสอบรายละเอียดกับการเปรียบเทียบด้านบน:

• ขอบเขต — ยืนยันว่ารายการหมายถึง NVLink (การเชื่อมต่อ GPU ภายในโหนด) หรือ InfiniBand (เครือข่ายระหว่างโหนด) อินสแตนซ์โหนดเดียวอาจมี NVLink แต่ไม่มี InfiniBand เลย
• โทโพโลยีและความกว้าง — กี่ GPU ที่แชร์โดเมน NVLink (NVSwitch แบบ all-to-all เต็มรูปแบบเทียบกับสะพานบางส่วน) และอัตราลิงก์ InfiniBand รวมถึงว่ามีการเปิดใช้งาน RDMA/GPUDirect หรือไม่
• รุ่น — รุ่น GPU ใหม่กว่าจะมี NVLink ที่แบนด์วิดท์สูงกว่า ป้าย “NVLink” เพียงอย่างเดียวไม่บอกความเร็ว
• ความพร้อมใช้งานแบบหลายโหนด — ว่าคุณสามารถจองโหนดหลายโหนดที่เชื่อมต่อกันได้จริงหรือไม่ และโหนดเหล่านั้นอยู่ในโครงข่ายเดียวกันหรือกระจายอยู่ทั่วศูนย์ข้อมูล
• การสนับสนุนซอฟต์แวร์ — ว่า NCCL, MPI และเฟรมเวิร์กของคุณมองเห็นและใช้โครงข่ายนั้นหรือไม่; การตั้งค่าผิดพลาดจะทำให้กลับไปใช้เส้นทางช้าโดยไม่แจ้งเตือน

ในเรื่องค่าใช้จ่ายและความพร้อมใช้งาน อินสแตนซ์ที่มีการเชื่อมต่อมากจะอยู่ในช่วงราคาสูงกว่า โหนดหลาย GPU ที่มี NVLink และคลัสเตอร์ที่เชื่อมต่อด้วย InfiniBand ใช้ฮาร์ดแวร์ระดับพรีเมียมและมีความต้องการสูง ดังนั้นความจุแบบ on-demand จึงจำกัดและตัวเลือก spot หรือ interruptible มีน้อยกว่า GPU ทั่วไปแบบเดี่ยว โดยเฉพาะการจัดสรร InfiniBand แบบหลายโหนดมักถูกจำกัด จอง หรือขายเป็นบล็อกขนาดใหญ่ ให้ถือราคาที่ตารางด้านบนเป็นข้อมูลอ้างอิงสด เนื่องจากอัตราเปลี่ยนแปลงและแตกต่างกันตามผู้ให้บริการ

คำถามที่พบบ่อย

ฉันต้องใช้ทั้ง NVLink และ InfiniBand หรือไม่?

ขึ้นอยู่กับขนาดงาน งานหลาย GPU ในโหนดเดียวต้องใช้แค่ NVLink เท่านั้น เมื่อการฝึกข้ามหลายเซิร์ฟเวอร์ คุณก็ต้องการ InfiniBand เชื่อมต่อโหนดเหล่านั้น — ทั้งสองทำงานในชั้นที่ต่างกัน ดังนั้นคลัสเตอร์ขนาดใหญ่จึงมักใช้ NVLink ภายในแต่ละกล่อง และ InfiniBand ระหว่างกล่อง

งาน GPU เดี่ยวของฉันจะรันเร็วขึ้นบนอินสแตนซ์ที่มี NVLink หรือ InfiniBand หรือไม่?

ไม่ ทั้งสองการเชื่อมต่อมีความสำคัญเฉพาะเมื่อข้อมูลเคลื่อนที่ระหว่าง GPU หรือระหว่างโหนด งานที่พอดีกับ GPU เดี่ยวจะไม่ใช้โครงข่ายใดเลย ดังนั้นคุณจะจ่ายเงินพรีเมียมสำหรับความจุที่ไม่สามารถใช้ได้ ควรกรองเฉพาะเมื่อคุณขยายเกินหนึ่ง GPU

ทำไมการเชื่อมต่อจึงสำคัญกว่าสเปกต่อ GPU สำหรับงานฝึกขนาดใหญ่?

การฝึกแบบกระจายใช้เวลาส่วนใหญ่ของแต่ละขั้นตอนในการแลกเปลี่ยนเกรเดียนต์และการกระตุ้น หากโครงข่ายตามไม่ทัน GPU จะว่างงานขณะรอซิงโครไนซ์ และการเพิ่ม GPU จะให้ผลตอบแทนลดลง การเชื่อมต่อที่เร็วคือสิ่งที่รักษาการขยายขนาดเกือบเป็นเส้นตรงเมื่อเพิ่มตัวเร่งความเร็ว

NVLink มีในทุกอินสแตนซ์หลาย GPU หรือไม่?

ไม่ โหนดหลาย GPU บางโหนดเชื่อมการ์ดของพวกเขาเฉพาะผ่าน PCIe ซึ่งมีแบนด์วิดท์ระหว่าง GPU ต่ำมาก การมี GPU หลายตัวไม่ได้รับประกันว่า NVLink จะมี ดังนั้นควรยืนยันการเชื่อมต่ออย่างชัดเจนจากการเปรียบเทียบด้านบนแทนการสมมติจากจำนวน GPU