ผู้ให้บริการ GPU บนคลาวด์ที่มีอินสแตนซ์แบบ Spot / Preemptible

อินสแตนซ์ GPU แบบ spot และ preemptible คืออะไร

อินสแตนซ์ GPU แบบ spot หรือ preemptible คือการเช่าจากพูลความจุสำรองของผู้ให้บริการในราคาลดพิเศษแลกกับเงื่อนไขสำคัญข้อหนึ่ง: ผู้ให้บริการสามารถเรียกคืนเครื่องได้ตลอดเวลา โดยปกติจะมีการแจ้งเตือนน้อยหรือไม่มีเลย ฮาร์ดแวร์เหมือนกับเวอร์ชัน on-demand ของ GPU ตัวเดียวกัน — มี VRAM เท่ากัน, tensor cores เท่ากัน, การเชื่อมต่อเหมือนกัน — แต่สัญญาเกี่ยวกับความพร้อมใช้งานแตกต่างกัน คุณกำลังซื้อการประมวลผลที่ราคาถูกเพราะมันสามารถถูกขัดจังหวะได้ ผู้ให้บริการทุกรายในรายชื่อข้างต้นที่ระบุว่ามีความจุแบบ spot หรือ preemptible จะเปิดเผยการแลกเปลี่ยนนี้ในรูปแบบใดรูปแบบหนึ่ง แม้ว่าชื่อจะต่างกัน: spot, preemptible, interruptible, community หรือ surplus instances ทั้งหมดนี้อธิบายแนวคิดพื้นฐานเดียวกัน.

ส่วนลดนี้มีอยู่เพราะศูนย์ข้อมูลมักจะไม่ทำงานเต็ม 100% GPU ที่ไม่ได้ใช้งานจะไม่สร้างรายได้ ดังนั้นผู้ให้บริการจึงขายความจุที่ว่างนี้ในราคาส่วนลดและยอมรับว่าพวกเขาอาจต้องเรียกคืนทันทีเมื่อมีลูกค้าที่จ่ายเต็มราคาต้องการ หรือเมื่อความต้องการจัดตารางของพวกเขาเปลี่ยนไป สำหรับผู้เช่า หมายความว่าการประหยัดที่เห็นได้ชัดเจนเป็นของจริง แต่ต้องแลกมาด้วยภาระผูกพันในการดำเนินงานที่คุณไม่มีในโหนด on-demand ที่รับประกัน.

ทำไมราคาที่ขัดจังหวะจึงสำคัญสำหรับงานจริง

เหตุผลที่ความจุ spot ควรเข้าใจคือการเช่า GPU มีราคาสูง และส่วนลดสำหรับอินสแตนซ์ที่ขัดจังหวะมักจะมากพอที่จะเปลี่ยนโครงการให้เป็นไปได้ทางเศรษฐกิจ ข้อจำกัดคือไม่ใช่งานทุกประเภทที่จะทนถูกฆ่ากลางคันได้ ปัจจัยตัดสินเกือบจะเป็น ว่าการทำ checkpoint และการเริ่มต้นใหม่ของงานคุณดีแค่ไหน.

• เหมาะสมอย่างยิ่ง: งานฝึกสอนและปรับแต่งที่ยาวนานซึ่งบันทึก checkpoint ลงในที่เก็บข้อมูลที่ทนทานทุกไม่กี่นาที งาน batch-inference หรือ embedding ขนาดใหญ่ การเรนเดอร์แบบออฟไลน์ การสแกนพารามิเตอร์ที่แต่ละการทดลองเป็นอิสระ และทุก pipeline ที่สร้างขึ้นโดยมีความทนทานต่อความผิดพลาดอยู่แล้ว
• ไม่เหมาะสม: การให้บริการ inference แบบเรียลไทม์หรือต่ำหน่วงเวลาที่รองรับแอปพลิเคชันสด เซสชันการพัฒนาแบบโต้ตอบที่การสูญเสียเครื่องหมายถึงการสูญเสียงานที่ยังไม่ได้บันทึก และการฝึกสอน multi-GPU ที่ซิงโครไนซ์อย่างเข้มงวดซึ่งไม่สามารถกู้คืนได้อย่างราบรื่นเมื่อโหนดหนึ่งหายไป

แบบจำลองทางความคิดง่ายๆ คือ: ถ้าการสูญเสียอินสแตนซ์ทำให้คุณเสียเวลาแค่ไม่กี่นาทีตั้งแต่ checkpoint ล่าสุด spot มักจะเป็นตัวเลือกที่ถูกต้อง หากการสูญเสียทำให้คุณเสียคำขอ ลูกค้า หรือชั่วโมงของสถานะที่ยังไม่ได้บันทึก ค่าใช้จ่ายพรีเมียมของ on-demand จะซื้อความสบายใจที่คุ้มค่ากับการจ่ายเงิน

ข้อแลกเปลี่ยนที่ต้องพิจารณา

การถูกขัดจังหวะเป็นต้นทุนที่ชัดเจน แต่ไม่ใช่เพียงอย่างเดียว เมื่อเปรียบเทียบผู้ให้บริการในมิตินี้ ให้พิจารณาภาพรวมทั้งหมด:

• พฤติกรรมการเรียกคืน: ผู้ให้บริการบางรายแจ้งเตือนล่วงหน้าสั้นๆ (มักเป็นไม่กี่นาที) เพื่อให้คุณสามารถบันทึกสถานะและออกจากงานอย่างเรียบร้อย; บางรายสามารถดึงเครื่องออกได้ทันที ช่วงเวลาผ่อนผันมีค่ายิ่งเพราะช่วยให้คุณสามารถเรียก checkpoint สุดท้ายได้
• ความแปรปรวนของความพร้อมใช้งาน: พูล spot มีความผันผวน GPU ที่คุณต้องการในราคาที่เห็นอาจไม่พร้อมใช้งานในช่วงเวลาหนึ่ง และการ์ดเร่งความเร็วที่ต้องการมากที่สุดจะถูกเรียกคืนอย่างเข้มงวดกว่าการ์ดรุ่นเก่าหรือที่ไม่เป็นที่นิยม
• ที่เก็บข้อมูลที่อยู่นานกว่าอินสแตนซ์: หาก checkpoint ของคุณอยู่เฉพาะบนดิสก์ท้องถิ่นของอินสแตนซ์ การถูกขัดจังหวะจะลบข้อมูลเหล่านั้น Spot จะทำงานอย่างปลอดภัยได้ก็ต่อเมื่อข้อมูลและ checkpoint ของคุณอยู่บนที่เก็บข้อมูลถาวรหรือเครือข่ายที่ยังคงอยู่หลังโหนดหายไป
• แรงเสียดทานในการเริ่มต้นใหม่: หลังจากถูกเรียกคืน คุณต้องได้ความจุกลับมาใหม่ ดึงภาพคอนเทนเนอร์และข้อมูลใหม่ และเริ่มต้นใหม่ — ดังนั้นเวลาสตาร์ทเย็นและขนาดภาพจึงส่งผลต่อประสิทธิภาพและต้นทุนโดยรวมของคุณ

สิ่งที่ต้องตรวจสอบก่อนเช่าความจุ spot

เนื่องจากคำเดียวกันอาจมีความหมายต่างกันในแต่ละผู้ให้บริการ ให้ใช้การเปรียบเทียบข้างต้นเพื่อยืนยันรายละเอียดแทนการสมมติ ก่อนที่จะมอบหมายงานให้กับอินสแตนซ์ที่ขัดจังหวะ ให้ทำตามรายการตรวจสอบนี้:

• ช่วงเวลาการแจ้งเตือน: ผู้ให้บริการแจ้งเตือนก่อนเรียกคืนหรือไม่ และช่วงเวลาผ่อนผันนานเท่าใด? แม้แต่ 30–120 วินาทีก็เปลี่ยนวิธีการออกแบบ checkpoint ของคุณได้
• ความเข้มงวดของการเรียกคืน: เครื่อง spot ถูกเรียกคืนเฉพาะเมื่อมีแรงกดดันความจุจริงหรือยังมีการปรับสมดุลเป็นประจำ? การเรียกคืนบ่อยครั้งในสภาวะความกดดันต่ำจะลดทอนการประหยัด
• ระบบ checkpoint: คุณสามารถเขียน checkpoint ลงในที่เก็บข้อมูลแบบออบเจ็กต์หรือเครือข่ายได้อย่างถูกและการดึงข้อมูลกลับมามีความสมเหตุสมผลหรือไม่? นี่คือปัจจัยสำคัญที่สุดที่ทำให้การใช้ spot อย่างปลอดภัยเป็นไปได้
• การได้ความจุกลับมาอัตโนมัติ: แพลตฟอร์มจะทำการจัดคิวและเริ่มงานของคุณใหม่โดยอัตโนมัติเมื่อความจุกลับมาหรือคุณต้องเขียนสคริปต์เอง? การจัดคิวใหม่ที่จัดการโดยแพลตฟอร์มช่วยให้ spot ใช้งานง่ายขึ้นมาก
• พฤติกรรม multi-GPU และ multi-node: หากคุณต้องการ GPU หลายตัวพร้อมกัน การสูญเสียหนึ่งตัวอาจทำให้งานทั้งหมดหยุดชะงัก ตรวจสอบว่าผู้ให้บริการสามารถจัดกลุ่มโหนดได้เป็นกลุ่มเดียวหรือเสนอเฉพาะ spot แบบ GPU เดี่ยวเท่านั้น
• ความละเอียดในการเรียกเก็บเงิน: การเรียกเก็บเงินแบบวินาทีหรือแบบนาทีเหมาะกับ spot เพราะคุณจ่ายเฉพาะเวลาที่ใช้งานจริงก่อนถูกเรียกคืน ไม่ใช่การปัดเศษขึ้น

รูปแบบปฏิบัติที่หลายทีมใช้คือ การตั้งค่าผสม: รันงานส่วนใหญ่ที่เน้น throughput และสามารถ checkpoint ได้บน spot เพื่อรับส่วนลด ในขณะที่เก็บ footprint แบบ on-demand เล็กๆ สำหรับงานที่ต้องการความหน่วงต่ำหรือมีสถานะ รูปแบบผสมนี้ช่วยให้ได้รับส่วนลดส่วนใหญ่โดยไม่เปิดเผยส่วนของ pipeline ที่ไม่สามารถทนต่อการขัดจังหวะได้จริงๆ

คำถามที่พบบ่อย

ฉันจะสูญเสียงานเมื่ออินสแตนซ์ GPU แบบ spot ถูกเรียกคืนหรือไม่?

คุณจะสูญเสียสถานะใดๆ ที่มีอยู่เฉพาะบนอินสแตนซ์ในขณะที่ถูกเรียกคืน — รวมถึงความคืบหน้าที่ยังไม่ได้บันทึกและข้อมูลบนดิสก์ท้องถิ่นเท่านั้น คุณจะไม่สูญเสียงานที่ได้เขียนลงในที่เก็บข้อมูลถาวรหรือเครือข่ายแล้ว นี่คือเหตุผลที่การทำ checkpoint บ่อยๆ ลงในที่เก็บข้อมูลที่ทนทานเป็นวินัยหลักของการใช้ความจุ spot อย่างปลอดภัย; ด้วย checkpoint ที่ดี คุณจะสูญเสียสูงสุดแค่ไม่กี่นาทีตั้งแต่การบันทึกล่าสุด

ฮาร์ดแวร์ GPU บน spot ต่างจาก on-demand หรือไม่?

ไม่ใช่ อินสแตนซ์ spot และ on-demand ใช้ฮาร์ดแวร์ทางกายภาพชุดเดียวกัน ดังนั้น GPU, VRAM, tensor cores และการเชื่อมต่อจึงเหมือนกัน ความแตกต่างเพียงอย่างเดียวคือสัญญาเกี่ยวกับความพร้อมใช้งานและราคา: spot ถูกกว่าแต่ขัดจังหวะได้ ในขณะที่ on-demand มีราคาสูงกว่าและไม่ถูกเรียกคืน คุณจ่ายเงินเพื่อความต่อเนื่องที่รับประกัน ไม่ใช่เพื่อซิลิกอนที่เร็วกว่า

อินสแตนซ์ spot สามารถประหยัดได้มากแค่ไหนเมื่อเทียบกับ on-demand?

ส่วนลดมักจะมากและเป็นเหตุผลหลักในการเลือกความจุที่ขัดจังหวะ แต่ตัวเลขที่แน่นอนขึ้นอยู่กับผู้ให้บริการ รุ่น GPU ภูมิภาค และความต้องการในปัจจุบัน และมีการเปลี่ยนแปลงอยู่ตลอด แทนที่จะพึ่งพาตัวเลขเดียว ให้ตรวจสอบการเปรียบเทียบสดข้างต้นสำหรับส่วนต่างราคาปัจจุบันระหว่าง spot กับ on-demand บน GPU ที่คุณต้องการ

งานประเภทใดที่ไม่ควรรันบนอินสแตนซ์ spot

หลีกเลี่ยง spot สำหรับงานที่ไม่สามารถทนต่อการหายไปอย่างกะทันหันได้: inference แบบสดที่มีความหน่วงต่ำรองรับแอปพลิเคชันจริง เซสชันโต้ตอบที่มีงานที่ยังไม่ได้บันทึก และงาน multi-GPU ที่ผูกพันกันอย่างแน่นหนาซึ่งไม่สามารถกู้คืนได้เมื่อสูญเสียโหนด สำหรับงานเหล่านี้ ค่าใช้จ่ายพรีเมียมของ on-demand คุ้มค่า งานทุกอย่างที่ checkpoint ได้อย่างเรียบร้อยและทนต่อการเริ่มใหม่ — การฝึกสอน การปรับแต่ง การ inference แบบ batch การเรนเดอร์ และการสแกนพารามิเตอร์ — เหมาะสมกับ spot อย่างดี