ผู้ให้บริการคลาวด์ GPU ที่มี NVLink หรือ InfiniBand

NVLink และ InfiniBand ทำงานอย่างไรจริง ๆ เมื่อคุณเช่าเครื่องคำนวณแบบหลาย GPU

NVLink และ InfiniBand แก้ไขปัญหาพื้นฐานเดียวกันจากสองด้านที่แตกต่างของเครื่อง: การเคลื่อนย้ายข้อมูลระหว่าง GPU อย่างรวดเร็วพอที่ตัวเร่งความเร็วจะใช้เวลาคำนวณแทนการรอ ตัวกรองด้านบนจำกัดรายการให้เหลือเฉพาะอินสแตนซ์คลาวด์ที่เปิดเผยหนึ่งหรือทั้งสองการเชื่อมต่อเหล่านี้ พวกมันไม่สามารถแทนที่กันได้ — ตัวหนึ่งเป็น fabric ภายในโหนด ที่เชื่อมต่อ GPU ภายในเซิร์ฟเวอร์เดียว และอีกตัวเป็น fabric ข้ามโหนด ที่เชื่อมต่อเซิร์ฟเวอร์เข้าด้วยกันเป็นคลัสเตอร์ สำหรับงานใด ๆ ที่ขยายขอบเขตมากกว่าหนึ่ง GPU การเชื่อมต่อมักเป็นความแตกต่างระหว่างการเพิ่มประสิทธิภาพแบบเกือบเส้นตรงกับการตั้งค่าที่การเพิ่ม GPU แทบไม่ช่วยอะไรเลย.

NVLink: ทางด่วนระหว่าง GPU ภายในกล่องเดียว

NVLink คือการเชื่อมต่อโดยตรงระหว่าง GPU ของ NVIDIA แทนที่จะส่งข้อมูลผ่านบัส PCIe ของโฮสต์และ CPU, NVLink เชื่อมต่อ GPU เข้าด้วยกัน (และในบางแพลตฟอร์มผ่าน NVSwitch crossbar) เพื่อให้ GPU ทุกตัวในโหนดสามารถสื่อสารกันได้ด้วยแบนด์วิดท์สูงและความหน่วงต่ำ ผลลัพธ์ที่เป็นรูปธรรมเมื่อคุณเช่าอินสแตนซ์ที่มี NVLink คือ:

• แบนด์วิดท์ระหว่าง GPU สูงกว่ามาก เมื่อเทียบกับโหนดที่ใช้ PCIe เพียงอย่างเดียว ซึ่งมีความสำคัญเมื่อมีการแลกเปลี่ยนเกรเดียนต์, การกระตุ้น หรือชิ้นส่วนของโมเดลในทุกขั้นตอน.
• หน่วยความจำรวมกันระหว่าง GPU ในทางปฏิบัติ — โมเดลที่ใหญ่เกินกว่าหน่วยความจำ VRAM ของ GPU ตัวเดียวสามารถแบ่งได้ภายในโดเมน NVLink โดยการรับส่งข้อมูลข้าม GPU จะอยู่บน fabric ที่รวดเร็วแทนที่จะช้าเหมือน PCIe.
• ค่าใช้จ่ายในการซิงโครไนซ์ต่ำลง สำหรับการดำเนินการร่วมเช่น all-reduce ซึ่งเป็นงานหลักในการฝึกอบรมแบบขนานข้อมูล.

NVLink อยู่ภายในโหนดเดียว ดังนั้นขอบเขตจึงมักเป็น 2, 4 หรือ 8 GPU ขึ้นอยู่กับการออกแบบเซิร์ฟเวอร์ หากผู้ให้บริการในรายการด้านบนโฆษณาโหนด 8 GPU “พร้อม NVLink” นั่นหมายความว่าการ์ดทั้งแปดใบเชื่อมต่อกันอย่างแน่นแฟ้น แต่ไม่ได้บอกอะไรเกี่ยวกับการเชื่อมต่อโหนดนั้นกับโหนดอื่น ๆ.

InfiniBand: fabric ที่เปลี่ยนเซิร์ฟเวอร์หลายเครื่องให้เป็นคลัสเตอร์เดียว

InfiniBand คือเทคโนโลยีเครือข่ายที่ใช้เชื่อมต่อเซิร์ฟเวอร์ GPU แยกกัน เมื่อการฝึกอบรมขยายเกินโหนดเดียว คอขวดจะย้ายจากภายในกล่องไปยังระหว่างกล่อง และเครือข่าย Ethernet ธรรมดาอาจทำให้ GPU หยุดชะงัก InfiniBand แก้ไขปัญหานี้ด้วยอัตราการส่งข้อมูลต่อการเชื่อมต่อที่สูงมาก ความหน่วงต่ำและคาดการณ์ได้ และ RDMA (remote direct memory access) ซึ่งอนุญาตให้เซิร์ฟเวอร์หนึ่งอ่านหรือเขียนหน่วยความจำของอีกเซิร์ฟเวอร์หนึ่งโดยไม่ต้องผ่าน CPU ฝั่งใดฝั่งหนึ่ง เมื่อจับคู่กับ GPUDirect RDMA ข้อมูลสามารถเคลื่อนย้ายจาก GPU ไปยัง GPU ข้ามโหนดได้โดยข้ามการคัดลอกหน่วยความจำของโฮสต์ไปมาก.

สำหรับการฝึกอบรมแบบหลายโหนด นี่คือสิ่งที่ทำให้การเพิ่มขนาดมีประสิทธิภาพ เหตุผลที่คลัสเตอร์ที่มี GPU หลายสิบหรือหลายร้อยตัวสามารถฝึกโมเดลขนาดใหญ่ได้ในเวลาที่เหมาะสมคือ fabric ข้ามโหนดสามารถตามทันการสื่อสารร่วมที่อัลกอริทึมต้องการ หากใช้เครือข่ายทั่วไป งานเดียวกันอาจใช้เวลาส่วนใหญ่ของเวลาจริงรอเครือข่าย.

งานประเภทใดที่ต้องการสิ่งนี้จริง ๆ

การกรองสำหรับ NVLink หรือ InfiniBand มีเหตุผลเมื่อการสื่อสาร ไม่ใช่แค่การคำนวณดิบ เป็นเส้นทางวิกฤต:

• การฝึกอบรมและปรับแต่งโมเดลขนาดใหญ่ ที่แบ่งพารามิเตอร์, สถานะตัวปรับแต่ง หรือเลเยอร์ข้าม GPU (การขนานข้อมูลแบบเทนเซอร์, แบบพายป์ไลน์ หรือแบบแบ่งข้อมูลเต็มรูปแบบ) — วิธีการเหล่านี้สร้างการรับส่งข้อมูลข้าม GPU อย่างต่อเนื่องและได้รับประโยชน์สูงสุดจาก NVLink ภายในโหนดและ InfiniBand ข้ามโหนด.
• การฝึกอบรมแบบกระจายหลายโหนด ที่งานไม่สามารถใส่ในเซิร์ฟเวอร์เดียวได้ — ที่นี่ InfiniBand เป็นปัจจัยตัดสินสำหรับประสิทธิภาพการเพิ่มขนาด.
• HPC และการจำลองทางวิทยาศาสตร์ ที่ต้องการการสื่อสารระหว่างกระบวนการอย่างใกล้ชิด ซึ่งพึ่งพา InfiniBand และ RDMA มาหลายปีแล้ว.
• การอนุมานโมเดลขนาดใหญ่หรือบริบทขนาดใหญ่ ที่แบ่งโมเดลเดียวข้ามหลาย GPU ซึ่ง NVLink ช่วยลดค่าปรับความหน่วงจากการเข้าถึงความสนใจและน้ำหนักข้าม GPU.

จริง ๆ แล้วเกินความจำเป็นสำหรับงานที่ใช้ GPU เดียว การปรับแต่งโมเดลขนาดเล็ก การรันการอนุมานแบบแบตช์ที่พอดีกับการ์ดเดียว งานเรนเดอร์ส่วนใหญ่ และการทดลองทั้งหมดทำงานได้ดีบน GPU เดี่ยว การจ่ายเงินพรีเมียมสำหรับโหนดที่เชื่อมต่อกันอย่างแน่นแฟ้นหรือคลัสเตอร์ InfiniBand ไม่มีประโยชน์หากงานของคุณไม่ข้ามขอบเขต GPU.

สิ่งที่ควรตรวจสอบก่อนเช่า

การเชื่อมต่อสองแบบนี้มักถูกสับสนในโฆษณา ดังนั้นควรตรวจสอบรายละเอียดกับการเปรียบเทียบด้านบน:

• ขอบเขต — ยืนยันว่ารายการหมายถึง NVLink (การเชื่อมต่อ GPU ภายในโหนด) หรือ InfiniBand (เครือข่ายข้ามโหนด) อินสแตนซ์โหนดเดียวอาจมี NVLink แต่ไม่มี InfiniBand เลยก็ได้.
• โทโพโลยีและความกว้าง — จำนวน GPU ที่แชร์โดเมน NVLink (NVSwitch แบบ all-to-all เต็มรูปแบบเทียบกับสะพานบางส่วน) และอัตราการเชื่อมต่อ InfiniBand รวมถึงว่ามีการเปิดใช้งาน RDMA/GPUDirect หรือไม่.
• รุ่น — รุ่น GPU ใหม่กว่ามักมี NVLink ที่มีแบนด์วิดท์สูงกว่า ป้าย “NVLink” เพียงอย่างเดียวไม่บอกความเร็ว.
• ความพร้อมใช้งานแบบหลายโหนด — ว่าคุณสามารถจองโหนดหลายโหนดที่เชื่อมต่อกันได้จริงหรือไม่ และโหนดเหล่านั้นอยู่ใน fabric เดียวกันหรือกระจายอยู่ทั่วศูนย์ข้อมูล.
• การสนับสนุนซอฟต์แวร์ — ว่า NCCL, MPI และเฟรมเวิร์กของคุณสามารถมองเห็นและใช้ fabric ได้หรือไม่; การตั้งค่าผิดพลาดจะทำให้เงียบ ๆ กลับไปใช้เส้นทางช้า.

ในเรื่องค่าใช้จ่ายและความพร้อมใช้งาน อินสแตนซ์ที่มีการเชื่อมต่อมากจะอยู่ในช่วงราคาสูงกว่า โหนดหลาย GPU ที่มี NVLink และคลัสเตอร์ที่เชื่อมต่อด้วย InfiniBand ใช้ฮาร์ดแวร์ระดับพรีเมียมและมีความต้องการสูง ดังนั้นความจุแบบ on-demand จึงจำกัดและตัวเลือก spot หรือ interruptible มีน้อยกว่า GPU สินค้าทั่วไปแบบเดี่ยว โดยเฉพาะการจัดสรร InfiniBand แบบหลายโหนดมักถูกควบคุม, จองล่วงหน้า หรือขายเป็นบล็อกใหญ่ ๆ ให้ถือราคาที่ตารางด้านบนเป็นข้อมูลอ้างอิงสด เนื่องจากอัตราค่าบริการเปลี่ยนแปลงและแตกต่างกันตามผู้ให้บริการ.

คำถามที่พบบ่อย

ฉันต้องใช้ทั้ง NVLink และ InfiniBand หรือไม่?

ขึ้นอยู่กับขนาดงาน งานหลาย GPU ในโหนดเดียวต้องการแค่ NVLink เท่านั้น เมื่อการฝึกอบรมขยายไปหลายเซิร์ฟเวอร์ คุณก็ต้องการ InfiniBand เพื่อเชื่อมต่อโหนดเหล่านั้น — ทั้งสองทำงานในชั้นที่ต่างกัน ดังนั้นคลัสเตอร์ขนาดใหญ่จึงมักใช้ NVLink ภายในแต่ละกล่องและ InfiniBand ระหว่างกล่อง.

งาน GPU เดี่ยวของฉันจะทำงานเร็วขึ้นบนอินสแตนซ์ NVLink หรือ InfiniBand หรือไม่?

ไม่ ทั้งสองการเชื่อมต่อนี้มีความสำคัญเฉพาะเมื่อข้อมูลเคลื่อนย้ายระหว่าง GPU หรือระหว่างโหนด งานที่พอดีกับ GPU เดียวจะไม่แตะต้อง fabric ใด ๆ ดังนั้นคุณจะจ่ายเงินพรีเมียมสำหรับความจุที่ไม่สามารถใช้ได้ ควรกรองเฉพาะเมื่อคุณขยายเกินหนึ่ง GPU.

ทำไมการเชื่อมต่อจึงสำคัญกว่าสเปกต่อ GPU สำหรับงานฝึกอบรมขนาดใหญ่?

การฝึกอบรมแบบกระจายใช้เวลาส่วนใหญ่ของแต่ละขั้นตอนในการแลกเปลี่ยนเกรเดียนต์และการกระตุ้น หาก fabric ตามไม่ทัน GPU จะว่างงานขณะรอการซิงโครไนซ์ และการเพิ่ม GPU มากขึ้นจะให้ผลตอบแทนลดลง การเชื่อมต่อที่รวดเร็วคือสิ่งที่รักษาการเพิ่มขนาดแบบเกือบเส้นตรงเมื่อคุณเพิ่มตัวเร่งความเร็ว.

NVLink มีให้บริการในทุกอินสแตนซ์หลาย GPU หรือไม่?

ไม่ โหนดหลาย GPU บางตัวเชื่อมต่อการ์ดของพวกเขาเฉพาะผ่าน PCIe ซึ่งมีแบนด์วิดท์ระหว่าง GPU ต่ำกว่าอย่างมาก การมี GPU หลายตัวไม่ได้รับประกันว่า NVLink จะมี ดังนั้นควรยืนยันการเชื่อมต่ออย่างชัดเจนจากการเปรียบเทียบด้านบนแทนที่จะสมมติจากจำนวน GPU.