ผู้ให้บริการ GPU บนคลาวด์ที่ไม่มีค่าธรรมเนียมการส่งข้อมูลออก

ความหมายที่แท้จริงของ “ค่าธรรมเนียมการส่งข้อมูลออกเป็นศูนย์” เมื่อคุณเช่า GPU บนคลาวด์

Egress คือข้อมูลที่ออกจากเครือข่ายของผู้ให้บริการ — ไบต์ที่คุณดาวน์โหลดออกจากคลาวด์ไปยังแล็ปท็อปของคุณ คลาวด์อื่น หรือผู้ใช้ปลายทาง แพลตฟอร์มโครงสร้างพื้นฐานหลายแห่งจะวัดปริมาณการรับส่งข้อมูลนี้และเรียกเก็บค่าบริการตามจำนวนกิกะไบต์ ในขณะที่คิดค่าบริการน้อยหรือไม่มีเลยสำหรับ ingress (ข้อมูลที่ไหลเข้า) โฮสต์ GPU ที่มีนโยบาย “zero egress” หรือ “$0 egress” สัญญาว่าการดึงข้อมูลของคุณกลับออกไปจะไม่มีค่าใช้จ่ายเพิ่มเติมนอกจากการคำนวณที่คุณเช่าไว้แล้ว บนแพลตฟอร์ม GPU นี่เป็นความแตกต่างที่สำคัญ เพราะงาน AI และการเรนเดอร์มักมีข้อมูลจำนวนมากที่ต้องส่งออก: จุดตรวจสอบโมเดล น้ำหนักที่ส่งออก เฟรมที่เรนเดอร์ ผลลัพธ์การอนุมานแบบแบตช์ และชุดข้อมูลสังเคราะห์ทั้งหมดต้องถูกส่งไปยังที่ใดที่หนึ่งเมื่อ GPU ทำงานเสร็จ

เหตุผลที่มีการคิดค่าบริการ egress แยกต่างหากก็เพราะแบนด์วิดท์สู่สาธารณอินเทอร์เน็ตเป็นต้นทุนจริงสำหรับผู้ให้บริการ แพลตฟอร์มที่โฆษณาว่าไม่มีค่าธรรมเนียม egress จะดูดซับต้นทุนนี้ไว้ในอัตราค่าเช่า GPU ต่อชั่วโมง ดำเนินงานในเครือข่ายที่ค่าขนส่งข้อมูลถูก หรือจำกัดการถ่ายโอนฟรีให้เฉพาะการรับส่งข้อมูลที่อยู่ภายในโครงข่ายหลักของตนเอง การอ่านว่าแต่ละข้อในตารางเปรียบเทียบข้างต้นใช้ข้อใดเป็นหัวใจสำคัญทั้งหมดของเกมนี้

เหตุใด egress จึงสำคัญสำหรับเวิร์กโฟลว์ GPU จริง

ราคาต่อชั่วโมงของ GPU เป็นเพียงบรรทัดเดียวในใบแจ้งหนี้ สำหรับงานที่ใช้ข้อมูลจำนวนมาก การถ่ายโอนข้อมูลอาจกลายเป็นบิลที่สองอย่างเงียบ ๆ — และแตกต่างจากการคำนวณ มันยากที่จะคาดการณ์ล่วงหน้า ราคาค่าบริการ egress จะส่งผลกระทบมากที่สุดในรูปแบบเหล่านี้:

• การฝึกอบรมที่ส่งออกจุดตรวจสอบขนาดใหญ่ — โมเดลที่มีพารามิเตอร์หลายพันล้านตัวจะสร้างจุดตรวจสอบที่มีขนาดวัดได้เป็นสิบหรือร้อยกิกะไบต์ หากคุณถ่ายภาพสแนปช็อตบ่อย ๆ และคัดลอกแต่ละภาพออกนอกแพลตฟอร์ม ค่าบริการ egress ที่วัดได้อาจเทียบเท่ากับค่าใช้จ่าย GPU
• การอนุมานแบบแบตช์ที่มีอัตราการส่งข้อมูลสูง — การสร้าง embedding คำบรรยาย หรือสื่อที่แปลงแล้วสำหรับรายการนับล้านหมายความว่าปริมาณ ผลลัพธ์ อาจมีขนาดใหญ่กว่าข้อมูลนำเข้า ปริมาณผลลัพธ์นั้นถือเป็น egress ทันทีที่มันออกจากผู้ให้บริการ
• การเรนเดอร์และวิดีโอ — เฟรมที่เสร็จสมบูรณ์และวิดีโอที่เข้ารหัสมีขนาดใหญ่และเกือบทั้งหมดจะถูกดึงกลับไปยังที่เก็บข้อมูลหรือการส่งมอบ ทำให้การเรนเดอร์เป็นหนึ่งในงาน GPU ที่ไวต่อค่าบริการ egress มากที่สุด
• ท่อข้อมูลมัลติคลาวด์และไฮบริด — การย้ายชุดข้อมูลหรือโมเดลระหว่างโฮสต์ GPU กับที่เก็บวัตถุ แพลตฟอร์มฐานข้อมูลเวกเตอร์ หรือชั้นการให้บริการแยกต่างหากจะข้ามขอบเขตเครือข่ายทุกครั้ง และแต่ละครั้งที่ข้ามอาจถูกวัดปริมาณและคิดค่าบริการ
• การให้บริการโมเดลแก่ผู้ใช้จริง — หากกล่อง GPU ตอบคำขอ API ทุกโทเค็นตอบกลับหรือภาพที่สตรีมไปยังไคลเอนต์ถือเป็น egress

นโยบาย zero egress จะตัดส่วนของบิลที่เพิ่มขึ้นตามปริมาณการใช้ผลลัพธ์จากการคำนวณของคุณ สำหรับการทดลองใช้งานแทบจะไม่ส่งผลกระทบ แต่สำหรับท่อข้อมูลการผลิตที่ส่งข้อมูลเป็นกิกะไบต์ต่อชั่วโมง อาจเป็นความแตกต่างระหว่างผู้ให้บริการสองรายที่มีอัตราค่าเช่า GPU ต่อชั่วโมงดูเหมือนจะเหมือนกัน

ข้อกำหนดละเอียดเกี่ยวกับ “ไม่มีค่าธรรมเนียม egress”

ไม่ใช่ทุกการอ้างสิทธิ์ “ไม่มีค่าธรรมเนียม egress” จะครอบคลุมสิ่งเดียวกัน และเครื่องหมายดอกจันคือจุดที่ผู้ซื้อมักจะประหลาดใจ เมื่อเปรียบเทียบรายการข้างต้น ให้ตรวจสอบอย่างชัดเจนว่าผู้ให้บริการหมายถึงข้อใดในนี้:

• การส่งข้อมูลออกสู่สาธารณะโดยไม่ถูกวัดปริมาณจริง — การดาวน์โหลดใด ๆ ไปยังอินเทอร์เน็ตสาธารณะฟรีโดยไม่มีค่าบริการต่อกิกะไบต์ นี่คือรูปแบบที่เข้มงวดที่สุดและมีประโยชน์ที่สุดสำหรับการให้บริการในระดับการผลิต
• เฉพาะการส่งข้อมูลภายในฟรีเท่านั้น — การถ่ายโอนข้อมูลฟรีตราบใดที่ยังอยู่ภายในภูมิภาคหรือโครงข่ายหลักของผู้ให้บริการ แต่การออกไปยังอินเทอร์เน็ตสาธารณะหรือคลาวด์อื่นยังคงถูกคิดค่าบริการ เหมาะสำหรับกรณีที่ที่เก็บข้อมูลและการคำนวณอยู่กับผู้ขายรายเดียวกัน
• มีโควต้าให้ใช้ฟรีจำนวนหนึ่ง จากนั้นคิดค่าบริการ — จำนวนกิกะไบต์หรือเทราไบต์ฟรีที่กำหนดต่อเดือน หลังจากนั้นจะคิดอัตรา egress ปกติ เหมาะสำหรับงานขนาดเล็ก แต่เป็นกับดักสำหรับงานที่มีปริมาณสูง
• “ฟรี” แต่จำกัดแบนด์วิดท์ — ไม่มีค่าบริการต่อกิกะไบต์ แต่ความเร็วพอร์ตถูกจำกัด ดังนั้นการถ่ายโอนข้อมูลขนาดใหญ่จะช้าแทนที่จะมีค่าใช้จ่ายสูง คุณจ่ายเป็นเวลาที่ใช้จริงแทนเงิน
• ฟรีค่าธรรมเนียม egress แต่แยกค่าธรรมเนียมการดึงข้อมูลจากที่เก็บข้อมูล — การดึงข้อมูลจากบล็อกสตอเรจที่แนบมากับเครื่องอาจฟรี ในขณะที่การดึงจากที่เก็บวัตถุแยกต่างหากไม่ฟรี ขอบเขตนี้คือสิ่งที่ถูกคิดค่าบริการ

มีการแลกเปลี่ยนที่แท้จริงให้พิจารณา ผู้ให้บริการที่รวมค่าธรรมเนียม egress ฟรีอาจมีอัตราค่าเช่า GPU ต่อชั่วโมงที่สูงขึ้นเล็กน้อย เพราะต้นทุนแบนด์วิดท์ต้องถูกจัดการที่ไหนสักแห่ง สำหรับงานที่มีการส่งข้อมูลออกน้อย — การฝึกอบรมระยะยาวที่เก็บจุดตรวจสอบไว้ หรือการทำงานในโน้ตบุ๊กแบบโต้ตอบ — การจ่ายอัตราต่อชั่วโมงที่ต่ำกว่าพร้อมค่าธรรมเนียม egress ที่วัดได้ซึ่งคุณแทบไม่เคยใช้ อาจถูกกว่ารวมทั้งหมด ตัวเลือกที่เหมาะสมขึ้นอยู่กับอัตราส่วนผลลัพธ์ต่อการคำนวณของคุณโดยสิ้นเชิง

สิ่งที่ควรตรวจสอบก่อนตัดสินใจ

• ว่าการส่งข้อมูลออกฟรีครอบคลุมการรับส่งข้อมูล อินเทอร์เน็ตสาธารณะ หรือเฉพาะการถ่ายโอนภายในผู้ให้บริการเท่านั้น
• มี ขีดจำกัดรายเดือน สำหรับโควต้าฟรีและอัตราค่าบริการต่อกิกะไบต์เมื่อเกินโควต้านั้นหรือไม่
• ข้อจำกัด พอร์ต/แบนด์วิดท์ เนื่องจาก “ฟรีแต่ช้า” ยังคงมีค่าใช้จ่ายในชั่วโมง GPU ขณะที่ข้อมูลถูกถ่ายโอน
• ว่าการ ดึงข้อมูลจากที่เก็บข้อมูล (การอ่านจากที่เก็บวัตถุ การส่งออกสแนปช็อต) ถูกนับเป็น egress แยกต่างหากจาก egress เครือข่ายหรือไม่
• นโยบายนี้มีผลอย่างไรกับ อินสแตนซ์แบบ spot หรือแบบถูกขัดจังหวะ — คุณอาจต้องย้ายข้อมูลออกอย่างรวดเร็วเมื่อโหนดถูกยึดคืน และค่าธรรมเนียม egress ที่วัดได้ในเวลาจำกัดนั้นเป็นเรื่องยุ่งยาก

การอ่านตารางเปรียบเทียบข้างต้นสำหรับ egress

ประเมินปริมาณ egress ของคุณก่อนอ่านตาราง: โดยประมาณว่ามีกี่กิกะไบต์ที่ออกจากแพลตฟอร์มต่อรัน คูณด้วยจำนวนรันต่อเดือน จับคู่กับอัตราค่าเช่า GPU ต่อชั่วโมงที่แสดงข้างต้น โฮสต์ที่ไม่มีค่าธรรมเนียม egress และมีราคาต่อชั่วโมงสูงกว่าบางส่วนมักจะชนะสำหรับการให้บริการในระดับการผลิต การอนุมานแบบแบตช์ และการเรนเดอร์ที่มีปริมาณผลลัพธ์สูงและคาดการณ์ได้ สำหรับงานที่ฝึกอบรมหนักแต่ผลลัพธ์น้อย ให้พิจารณาอัตราต่อชั่วโมงที่ต่ำกว่าเป็นอันดับแรกและถือว่า egress เป็นปัจจัยรอง เนื่องจากนโยบายและราคาค่าบริการแบนด์วิดท์เปลี่ยนแปลงอยู่เสมอ ให้ใช้การเปรียบเทียบแบบสดข้างต้นสำหรับอัตราต่อชั่วโมงปัจจุบันและยืนยันเงื่อนไขการส่งข้อมูลออกของแต่ละผู้ให้บริการตามจุดที่ระบุไว้ที่นี่

คำถามที่พบบ่อย

“zero egress” หมายความว่าการถ่ายโอนข้อมูลทั้งหมดของฉันฟรีหรือไม่?

ไม่เสมอไป โดยทั่วไปหมายความว่าการรับส่งข้อมูลออกไม่มีค่าบริการต่อกิกะไบต์ แต่ผู้ให้บริการบางรายจำกัดเฉพาะการรับส่งข้อมูลที่อยู่ภายในเครือข่ายของตนเอง หรือรวมเฉพาะโควต้าฟรีรายเดือนก่อนเริ่มวัดปริมาณ การรับส่งข้อมูลเข้า (ingress) แทบจะฟรีทั่วทุกแห่ง ดังนั้นคำอ้างสิทธิ์เรื่อง egress คือส่วนที่ควรตรวจสอบ

ค่าธรรมเนียม egress สามารถเพิ่มค่าใช้จ่าย GPU ได้มากแค่ไหน?

ขึ้นอยู่กับปริมาณผลลัพธ์โดยสิ้นเชิง โน้ตบุ๊กทดลองไม่กี่เครื่องสร้าง egress น้อยมาก จึงเป็นค่าที่ไม่สำคัญ ท่อข้อมูลการผลิตที่ส่งออกจุดตรวจสอบขนาดใหญ่ เรนเดอร์วิดีโอ หรือให้บริการตอบโมเดลแก่ผู้ใช้สามารถย้ายข้อมูลเป็นเทราไบต์ต่อเดือน ซึ่งค่าธรรมเนียม egress ที่วัดได้อาจเป็นสัดส่วนสำคัญของยอดรวม — บางครั้งใกล้เคียงกับค่าใช้จ่ายการคำนวณเอง

ฉันควรเลือกผู้ให้บริการที่ไม่มีค่าธรรมเนียม egress เสมอไปหรือไม่?

ไม่ใช่ ค่าธรรมเนียม egress ฟรีบางครั้งมาพร้อมกับอัตราค่าเช่า GPU ต่อชั่วโมงที่สูงขึ้นเล็กน้อย หากงานของคุณเก็บข้อมูลไว้ในที่เดิม — การฝึกอบรมระยะยาว การพัฒนาแบบโต้ตอบ — คุณอาจจ่ายน้อยกว่ารวมทั้งหมดด้วยอัตราต่อชั่วโมงที่ถูกกว่าและค่าธรรมเนียม egress ที่วัดได้ซึ่งคุณแทบไม่เคยใช้ จับคู่นโยบายกับอัตราส่วนผลลัพธ์ต่อการคำนวณของคุณ แทนที่จะถือว่า zero egress ดีกว่าโดยอัตโนมัติ

ค่าธรรมเนียม egress ฟรีถูกจำกัดความเร็วหรือไม่?

ใช่ ผู้ให้บริการบางรายไม่มีค่าบริการต่อกิกะไบต์แต่จำกัดความเร็วพอร์ต ดังนั้นการส่งออกข้อมูลขนาดใหญ่จะช้าแทนที่จะมีค่าใช้จ่ายสูง เนื่องจากนาฬิกา GPU อาจยังทำงานในขณะที่ข้อมูลถูกถ่ายโอน “ฟรีแต่ช้า” จึงยังมีค่าใช้จ่ายจริงในชั่วโมง GPU ตรวจสอบข้อจำกัดแบนด์วิดท์ควบคู่กับราคาค่าบริการเสมอ