ผู้ให้บริการ GPU บนคลาวด์ที่มีพื้นที่เก็บข้อมูลถาวร

ความหมายของการจัดเก็บข้อมูลถาวรเมื่อคุณเช่า GPU บนคลาวด์

โดยปกติแล้ว อินสแตนซ์ GPU ที่เช่าจะให้ดิสก์ทำงานที่มีอายุการใช้งานขึ้นอยู่กับอินสแตนซ์นั้น เมื่อคุณหยุด ทำลาย หรือถูกบังคับให้ออกจากเครื่องนั้น ดิสก์ภายในจะถูกลบและข้อมูลจะหายไป การจัดเก็บข้อมูลถาวร จะตัดความสัมพันธ์นี้ออก: มันคือโวลุ่มจัดเก็บข้อมูลที่มีอายุการใช้งานแยกจากอินสแตนซ์ GPU ใด ๆ ดังนั้นชุดข้อมูล จุดตรวจสอบโมเดล สภาพแวดล้อม conda และน้ำหนักที่แคชไว้จะยังคงอยู่แม้หลังจากปิดเครื่องและสามารถเชื่อมต่อกับเครื่องถัดไปที่คุณเปิดใช้งาน ผู้ให้บริการในตารางเปรียบเทียบข้างต้นทั้งหมดมีรูปแบบนี้ แต่การใช้งานแตกต่างกันมากจนคำตอบว่า “ใช่” เป็นเพียงจุดเริ่มต้นเท่านั้น

ในทางปฏิบัติ การจัดเก็บข้อมูลถาวรมีอยู่ในสองรูปแบบหลัก รูปแบบแรกคือ โวลุ่มเครือข่าย (การจัดเก็บแบบบล็อกหรือระบบไฟล์) ที่คุณเมานต์ผ่านเครือข่ายภายในของผู้ให้บริการและสามารถแนบกับโหนด GPU ใดก็ได้ที่คุณเปิดใช้งาน รูปแบบที่สองคือ การจัดเก็บแบบออบเจ็กต์ (บัคเก็ตที่เข้ากันได้กับ S3) ที่คุณดึงข้อมูลเมื่อเริ่มงานและส่งผลลัพธ์กลับไป ผู้ให้บริการบางรายยังมีไดเรกทอรีโฮมถาวรบน NVMe ท้องถิ่นที่รวดเร็วซึ่งแยกจากวงจรชีวิตของการประมวลผล แต่ละแบบมีพฤติกรรมที่แตกต่างกันมากในเรื่องของอัตราการถ่ายโอนข้อมูล เวลาแฝง และวิธีการเชื่อมต่อกับลูปการฝึกอบรม

เหตุผลที่สำคัญสำหรับเวิร์กโฟลว์ GPU จริง

เหตุผลที่ควรคัดกรองการจัดเก็บข้อมูลถาวรคือเวลาของ GPU เป็นทรัพยากรที่มีราคาแพงและคุณไม่ต้องการเสียเวลาดาวน์โหลดและเตรียมข้อมูลซ้ำ ๆ อย่างชัดเจน มันเปลี่ยนแปลงเวิร์กโฟลว์เหล่านี้:

• การฝึกอบรมและการปรับแต่งโมเดลระยะยาว จะเขียนจุดตรวจสอบทุกไม่กี่ร้อยขั้นตอน หากจุดตรวจสอบเหล่านั้นอยู่บนดิสก์ชั่วคราวเท่านั้น โหนดที่ล่มหรือถูกบังคับให้ออกจากระบบหมายถึงการเริ่มต้นใหม่จากศูนย์ การจัดเก็บข้อมูลถาวรช่วยให้คุณสามารถเริ่มต้นต่อจากจุดตรวจสอบล่าสุดบน GPU ใหม่ได้
• อินสแตนซ์แบบสปอตและแบบหยุดชั่วคราว กลายเป็นใช้งานได้จริง เศรษฐศาสตร์ของ GPU ราคาถูกที่ถูกบังคับให้ออกจากระบบขึ้นอยู่กับความสามารถในการสูญเสียโหนดโดยไม่สูญเสียงาน — ซึ่งจะเกิดขึ้นได้ก็ต่อเมื่อสถานะของคุณอยู่บนโวลุ่มที่มีอายุการใช้งานยาวนานกว่าอินสแตนซ์
• ชุดข้อมูลขนาดใหญ่ (ภาพ วิดีโอ หรือชุดโทเค็นหลายร้อย GB) เป็นเรื่องยากที่จะจัดเตรียมใหม่ทุกครั้งที่เปิดใช้งาน โวลุ่มถาวรเก็บข้อมูลที่จัดเตรียมและแบ่งชาร์ดไว้ ทำให้แต่ละเซสชันใหม่เริ่มต้นได้ภายในไม่กี่วินาทีแทนที่จะต้องรอคัดลอกข้อมูลนาน
• การพัฒนาแบบวนซ้ำ ได้รับประโยชน์จากไดเรกทอรีโฮมที่เสถียร: สภาพแวดล้อมของคุณ แพ็กเกจที่ติดตั้ง น้ำหนัก Hugging Face ที่แคชไว้ และโน้ตบุ๊กยังคงอยู่ในวันถัดไปโดยไม่ต้องสร้างใหม่จากอิมเมจคอนเทนเนอร์
• การให้บริการการทำนายผล สามารถเก็บน้ำหนักโมเดลให้อุ่นบนสตอเรจที่แนบมา ทำให้สำเนาที่ขยายขนาดโหลดได้อย่างรวดเร็วแทนที่จะต้องดึงข้อมูลหลายสิบ GB จากบัคเก็ตระยะไกลเมื่อเริ่มต้นแบบเย็น

ข้อแลกเปลี่ยนที่ต้องพิจารณา

การจัดเก็บข้อมูลถาวรไม่ฟรีทั้งค่าใช้จ่ายและความยุ่งยาก และความแตกต่างระหว่างผู้ให้บริการมักอยู่ที่ข้อแลกเปลี่ยนเหล่านี้มากกว่าการมีฟีเจอร์นี้หรือไม่

• คุณต้องจ่ายค่าใช้จ่ายแม้ในขณะที่ไม่ได้ใช้งาน การคิดค่าบริการการประมวลผลจะหยุดเมื่อคุณปิด GPU แต่โวลุ่มถาวรจะคิดค่าบริการตามความจุ (โดยปกติคิดเป็น GB-เดือน) ไม่ว่าคุณจะเชื่อมต่อ GPU หรือไม่ก็ตาม โวลุ่มขนาดใหญ่ที่เหลืออยู่ระหว่างโปรเจกต์จะกลายเป็นค่าใช้จ่ายที่เกิดขึ้นซ้ำอย่างเงียบ ๆ
• การจำกัดภูมิภาคและโซน โวลุ่มเครือข่ายมักจะอยู่ในภูมิภาคหรือศูนย์ข้อมูลเดียว หาก GPU ประเภทที่คุณต้องการมีเฉพาะในภูมิภาคอื่น คุณอาจไม่สามารถแนบโวลุ่มของคุณที่นั่นได้ — และการย้ายข้อมูลอาจทำให้เกิดค่าธรรมเนียมการส่งออกหรือใช้เวลาคัดลอกข้อมูล
• อัตราการถ่ายโอนข้อมูลและเวลาแฝงแตกต่างกันมาก NVMe ท้องถิ่นสามารถส่งข้อมูลได้หลายกิกะไบต์ต่อวินาที; ระบบไฟล์เครือข่ายอาจช้ากว่ามากและอาจเป็นคอขวดสำหรับลูปการฝึกอบรมที่ต้องการข้อมูลสูง สำหรับท่อข้อมูลที่มีอัตราการถ่ายโอนสูง ช่องว่างนี้สำคัญกว่าความจุ
• ข้อจำกัดเรื่องความพร้อมใช้งานพร้อมกัน บางโวลุ่มบล็อกแนบได้เพียงอินสแตนซ์เดียวในแต่ละครั้ง ขณะที่ระบบไฟล์แชร์และการจัดเก็บแบบออบเจ็กต์อนุญาตให้มีผู้อ่านหลายคน การฝึกอบรมหลายโหนดโดยทั่วไปต้องการระบบไฟล์แชร์หรือที่เก็บออบเจ็กต์ ไม่ใช่อุปกรณ์บล็อกที่แนบได้ครั้งละหนึ่งเครื่อง
• ค่าธรรมเนียมการส่งออกและการโอนย้ายข้อมูล การอ่านข้อมูลภายในภูมิภาคของผู้ให้บริการเดียวกันมักมีราคาถูก แต่การดึงข้อมูลออกไปยังแล็ปท็อปของคุณหรือคลาวด์อื่นอาจมีค่าธรรมเนียมการส่งออกที่สูงกว่าค่าใช้จ่ายการจัดเก็บข้อมูลหลายเท่า

สิ่งที่ควรตรวจสอบในตารางเปรียบเทียบข้างต้น

เมื่อคุณอ่านรายชื่อผู้ให้บริการที่รองรับการจัดเก็บข้อมูลถาวร ให้เจาะลึกในรายละเอียดแทนที่จะถือว่า “ใช่” เป็นเหมือนกันทั้งหมด:

1. ประเภทโวลุ่มและอัตราการถ่ายโอนข้อมูล — เป็นบล็อก ระบบไฟล์เครือข่าย หรือการจัดเก็บแบบออบเจ็กต์ และแบนด์วิดท์การอ่าน/เขียนจริงที่รองรับภายใต้ภาระงานฝึกอบรมคือเท่าใด
2. รูปแบบการคิดราคา — คิดเป็น GB-เดือนสำหรับโวลุ่ม และว่าคุณต้องจ่ายต่อไปแม้ไม่มี GPU แนบอยู่หรือไม่
3. การจำกัดภูมิภาค — โวลุ่มสามารถแนบกับประเภท GPU และภูมิภาคที่คุณต้องการจริง ๆ รวมถึงความจุแบบสปอตได้หรือไม่
4. ความจุและข้อจำกัด — ขนาดโวลุ่มสูงสุด การสนับสนุนสแนปช็อต และสามารถแชร์ข้ามโหนดหลายเครื่องได้หรือไม่
5. เงื่อนไขการส่งออกข้อมูล — ค่าใช้จ่ายในการย้ายข้อมูลออก เพราะนั่นมักเป็นตัวกำหนดค่าใช้จ่ายรวมมากกว่าค่าใช้จ่ายการจัดเก็บข้อมูล

จับคู่คำตอบเหล่านั้นกับภาระงานของคุณ: การปรับแต่งโมเดลระยะยาวต้องการการเก็บจุดตรวจสอบที่เชื่อถือได้และสามารถเริ่มต่อได้; ท่อข้อมูลขนาดใหญ่ต้องการอัตราการถ่ายโอนข้อมูลดิบ; ฟลีตการทำนายผลแบบเซิร์ฟเวอร์เลสหรืออัตโนมัติปรับขนาดต้องการการอ่านข้อมูลน้ำหนักโมเดลที่อุ่นอย่างรวดเร็วและแชร์ได้ ผู้ให้บริการที่เหมาะสมในตารางคือผู้ที่รูปแบบการจัดเก็บข้อมูลถาวรตรงกับรูปแบบหลักของคุณ

คำถามที่พบบ่อย

การจัดเก็บข้อมูลถาวรจะเก็บข้อมูลของฉันไว้หากฉันหยุดอินสแตนซ์ GPU หรือไม่?

ใช่ — นั่นคือจุดประสงค์หลักของมัน โวลุ่มถาวรถูกแยกออกจากอินสแตนซ์การประมวลผล ดังนั้นการหยุดหรือทำลายโหนด GPU จะไม่ส่งผลกระทบต่อโวลุ่มและข้อมูลภายใน คุณสามารถแนบมันกับอินสแตนซ์ถัดไปที่คุณเปิดใช้งานได้ เพียงแต่ต้องจำไว้ว่าตัวโวลุ่มมักจะยังคงถูกคิดค่าบริการตามความจุในขณะที่มันยังคงอยู่ แม้จะไม่มี GPU ทำงานก็ตาม

การจัดเก็บข้อมูลถาวรรวมอยู่ในราคาค่าเช่า GPU หรือไม่?

โดยปกติไม่ใช่ อัตราค่าเช่า GPU ต่อชั่วโมงครอบคลุมการประมวลผลและดิสก์ชั่วคราวพื้นฐาน ขณะที่โวลุ่มถาวรถูกคิดค่าบริการแยกตามความจุ โดยปกติคิดเป็น GB ต่อเดือน ควรถือว่าการจัดเก็บข้อมูลเป็นรายการค่าใช้จ่ายแยกต่างหากเมื่อประเมินต้นทุนรวม และตรวจสอบตารางเปรียบเทียบสดข้างต้นเพื่อดูว่าผู้ให้บริการแต่ละรายคิดราคาอย่างไร

ฉันสามารถใช้การจัดเก็บข้อมูลถาวรกับ GPU แบบสปอตหรือแบบหยุดชั่วคราวราคาถูกได้หรือไม่?

นั่นคือหนึ่งในเหตุผลที่ดีที่สุดที่ควรใช้ เพราะโวลุ่มมีอายุการใช้งานยาวนานกว่าโหนดใด ๆ คุณสามารถถูกบังคับให้ออกจากอินสแตนซ์สปอตโดยไม่สูญเสียข้อมูล และเริ่มต่อจากจุดตรวจสอบล่าสุดบนเครื่องใหม่ได้ ยืนยันว่าผู้ให้บริการอนุญาตให้แนบโวลุ่มกับความจุสปอตในภูมิภาคเดียวกับที่มี GPU เหล่านั้น

ความแตกต่างระหว่างการจัดเก็บข้อมูลถาวรและการจัดเก็บแบบออบเจ็กต์อย่าง S3 คืออะไร?

การจัดเก็บแบบออบเจ็กต์เป็นวิธีหนึ่งในการทำให้ข้อมูลคงอยู่ แต่คุณอ่านและเขียนข้อมูลในรูปแบบบัคเก็ตและออบเจ็กต์ผ่าน API แทนที่จะเมานต์เป็นดิสก์ท้องถิ่น โวลุ่มบล็อกหรือระบบไฟล์ถาวรทำงานเหมือนไดรฟ์ที่แนบอยู่ซึ่งโค้ดของคุณอ่านโดยตรง การจัดเก็บแบบออบเจ็กต์สามารถขยายขนาดได้มากและแชร์ข้ามหลายโหนดได้; โวลุ่มที่เมานต์มักมีเวลาแฝงต่ำกว่าสำหรับลูปการฝึกอบรมที่ใช้งานอยู่ เวิร์กโฟลว์หลายอย่างใช้ทั้งสองแบบ — บัคเก็ตสำหรับเก็บถาวรแบบเย็น และโวลุ่มเมานต์สำหรับชุดข้อมูลที่ใช้งานอยู่