GPU คลาวด์ที่ดีที่สุดสำหรับปัญญาประดิษฐ์เชิงสร้างสรรค์

สิ่งที่ปัญญาประดิษฐ์เชิงสร้างสรรค์ต้องการจาก GPU เช่า

ปัญญาประดิษฐ์เชิงสร้างสรรค์เป็นกลุ่มกว้าง ครอบคลุมโมเดลภาษาใหญ่แบบออโตเรเกรสซีฟ, ตัวสร้างภาพและวิดีโอแบบกระจาย, โมเดลข้อความเป็นเสียงและดนตรี และระบบมัลติโมดอลที่จัดการหลายอย่างพร้อมกัน เส้นด้ายร่วมคือโมเดลมีขนาดใหญ่เมื่อเทียบกับข้อมูลที่ป้อน และคอขวดเกือบจะเป็น หน่วยความจำ GPU มากกว่าการประมวลผลดิบ ก่อนอ่านการเปรียบเทียบข้างต้น ควรรู้ว่ามิติใดมีผลต่อการทำงานนี้

• ความจุ VRAM กำหนดสิ่งที่คุณสามารถโหลดได้ทั้งหมด น้ำหนักของโมเดลต้องพอดีกับหน่วยความจำพร้อมกับแอคติเวชัน และในระหว่างการฝึกอบรม สถานะตัวปรับแต่งและเกรเดียนต์ การสืบค้นบนโมเดลพารามิเตอร์ 7B–13B ที่ถูกควอนไทซ์ทำได้สะดวกบนการ์ด 24GB เดียว ขณะที่การให้บริการโมเดล 70B ที่ความแม่นยำสูงกว่าผลักดันให้คุณใช้ตัวเร่งความเร็วระดับ 80GB หรือหลาย GPU
• แบนด์วิดธ์หน่วยความจำ กำหนดอัตราการประมวลผลโทเคน การสืบค้นเชิงสร้างสรรค์ถูกจำกัดด้วยหน่วยความจำ: ทุกโทเคนที่สร้างต้องสตรีมผ่านน้ำหนักโมเดลผ่านหน่วยประมวลผล ดังนั้นแบนด์วิดธ์ระดับ HBM (พบในตัวเร่งความเร็วศูนย์ข้อมูล) จึงให้โทเคนต่อวินาทีสูงกว่าการ์ดผู้บริโภคที่ใช้ GDDR ที่มี VRAM เท่ากัน
• การสนับสนุนความแม่นยำต่ำ มีความสำคัญมากกว่างานอื่น ๆ คอร์เทนเซอร์ที่เร่งความเร็ว FP16, BF16 และโดยเฉพาะ FP8 หรือ INT8 ช่วยให้คุณรันโมเดลใหญ่ขึ้นในหน่วยความจำน้อยลงและเร็วขึ้น ฮาร์ดแวร์ที่รองรับ FP8 เป็นตัวแยกความแตกต่างที่สำคัญทั้งในการให้บริการและการฝึกอบรมโมเดลใหญ่รุ่นล่าสุด
• การเชื่อมต่อระหว่าง GPU มีความสำคัญเมื่อโมเดลไม่พอดีกับ GPU เดียว ลิงก์แบนด์วิดธ์สูงเช่น NVLink และโครงข่ายระดับโหนดสำหรับการฝึกหลายโหนด ช่วยให้หลาย GPU ทำงานได้ดีเมื่อแบ่งน้ำหนักโมเดลระหว่างกัน การตั้งค่าหลาย GPU ที่ใช้ PCIe อย่างเดียวทำงานได้แต่จำกัดการฝึกโมเดลใหญ่และการสืบค้นแบบเทนเซอร์พาราเลล

การจับคู่ภาระงานกับระดับที่เหมาะสม

“ปัญญาประดิษฐ์เชิงสร้างสรรค์” ครอบคลุมความต้องการเช่าที่แตกต่างกันมากขึ้นอยู่กับสิ่งที่คุณทำ การอ่านรายการข้างต้นในมุมมองนี้จะช่วยประหยัดเงินและลดความหงุดหงิด

การสืบค้นและการให้บริการ

ถ้าคุณกำลังปรับใช้โมเดลเพื่อสร้างข้อความ ภาพ หรือเสียงสำหรับผู้ใช้ คุณต้องการแบนด์วิดธ์หน่วยความจำสูงสุดต่อเงินและ VRAM เพียงพอสำหรับเก็บโมเดลพร้อมกับแคช KV ที่เหมาะสม (หน่วยความจำต่อคำขอที่เพิ่มขึ้นตามความยาวบริบท) สำหรับการสร้างแบบแชทและบริบทยาว แคช KV อาจมีขนาดเท่ากับน้ำหนักโมเดล ดังนั้นอย่ากำหนดขนาดอินสแตนซ์แค่ตามน้ำหนักโมเดล การควอนไทซ์เป็น INT8 หรือ FP8 ช่วยให้คุณใส่โมเดลใหญ่ขึ้นหรือให้บริการคำขอพร้อมกันมากขึ้นบนการ์ดขนาดเล็ก สำหรับการให้บริการแบบเรียลไทม์ที่ต้องการความหน่วงต่ำ GPU เร็วหนึ่งตัวต่อสำเนามักดีกว่าการกระจายโมเดลเดียวไปหลายตัว

การปรับแต่งและการปรับเปลี่ยน

ทีมส่วนใหญ่ที่ปรับแต่งโมเดลฐานจะใช้การปรับแต่งพารามิเตอร์อย่างมีประสิทธิภาพ (LoRA/QLoRA) แทนการฝึกเต็มรูปแบบ โดยเฉพาะ QLoRA จะเก็บโมเดลฐานในรูปแบบควอนไทซ์และฝึกน้ำหนักอะแดปเตอร์ขนาดเล็ก ซึ่งลดข้อจำกัด VRAM อย่างมาก — โมเดลขนาดใหญ่สามารถปรับแต่งได้บนการ์ด 24GB–48GB เดียว การปรับแต่งเต็มรูปแบบของโมเดลใหญ่ต้องใช้สถานะตัวปรับแต่งและเกรเดียนต์ในหน่วยความจำ ซึ่งเพิ่มความต้องการหลายเท่าและผลักดันให้ใช้ตัวเร่งความเร็ว 80GB หรือโหนดหลาย GPU ที่มีการเชื่อมต่อระหว่าง GPU ที่แข็งแกร่ง

การฝึกอบรมล่วงหน้าและการฝึกขนาดใหญ่

การฝึกโมเดลเชิงสร้างสรรค์ขนาดใหญ่ตั้งแต่เริ่มต้นเป็นกรณีที่ต้องการมากที่สุด ครอบงำด้วยการขยายหลาย GPU และหลายโหนด ดังนั้นแบนด์วิดธ์การเชื่อมต่อ, ที่เก็บข้อมูลร่วมความเร็วสูงเพื่อให้อุปกรณ์โหลดข้อมูลทำงานได้ต่อเนื่อง และตัวเร่งความเร็วระดับสูงที่เชื่อถือได้ที่มี HBM และรองรับ FP8 จึงมีความสำคัญ นี่คือจุดที่ความพร้อมใช้งานแบบออนดีมานด์และความขาดแคลนกลายเป็นปัญหาการวางแผน และที่ที่ความจุแบบผูกมัดหรือจองล่วงหน้ามักสมเหตุสมผลกว่าการไล่ตามราคาสปอตที่ถูกที่สุด

วิธีอ่านการเปรียบเทียบข้างต้นสำหรับปัญญาประดิษฐ์เชิงสร้างสรรค์

ตารางจัดการรายละเอียดสด แต่สิ่งที่ควรพิจารณาขณะสแกนคือ:

• VRAM ก่อน แล้วแบนด์วิดธ์ กรองอินสแตนซ์ที่สามารถเก็บโมเดลและแคช KV ได้จริง จากนั้นเลือกหน่วยความจำระดับ HBM สำหรับอัตราการประมวลผลการสืบค้น
• GPU เดี่ยวกับหลาย GPU หากโมเดลของคุณพอดีกับ GPU เดียว การ์ดเร็วตัวเดียวจะง่ายกว่าและมักถูกกว่ากล่องหลาย GPU ที่คุณไม่สามารถใช้ได้เต็มที่ ใช้เฉพาะอินสแตนซ์หลาย GPU ที่เชื่อมต่อด้วย NVLink เมื่อโมเดลจริงๆ แบ่งข้ามการ์ด
• ความละเอียดในการเรียกเก็บเงิน ภาระงานเชิงสร้างสรรค์มักมีลักษณะเป็นช่วง ๆ — งานภาพชุดหนึ่ง, การประเมินผล, จุดสิ้นสุดที่ไม่ต่อเนื่อง การเรียกเก็บเงินต่อวินาทีหรือชั่วโมงและความสามารถในการหยุดอินสแตนซ์อย่างรวดเร็วช่วยป้องกันไม่ให้คุณจ่ายเงินสำหรับตัวเร่งความเร็วที่ไม่ได้ใช้งาน
• สปอตกับออนดีมานด์ อินสแตนซ์ที่ถูกขัดจังหวะเหมาะสำหรับงานที่ทนต่อความผิดพลาด เช่น การสร้างชุดภาพหรือวิดีโอและการปรับแต่งที่มีการบันทึกจุดตรวจ แต่เสี่ยงสำหรับจุดสิ้นสุดที่ต้องให้บริการผู้ใช้ตลอดเวลา
• ที่เก็บข้อมูลและการส่งออก น้ำหนักโมเดลมีขนาดใหญ่ในการเคลื่อนย้าย และที่เก็บข้อมูลถาวรสำหรับจุดตรวจเพิ่มขึ้น ตรวจสอบว่าตัวเลือกแต่ละอย่างคิดค่าบริการสำหรับที่เก็บข้อมูลและการถ่ายโอนข้อมูลอย่างไร ไม่ใช่แค่เวลาการใช้ GPU

เนื่องจากราคากับอุปทานของตัวเร่งความเร็วที่เป็นที่ต้องการมากที่สุดเปลี่ยนแปลงบ่อย ให้ถือว่าตัวเลขสดในตารางข้างต้นเป็นแหล่งข้อมูลที่ถูกต้อง และใช้คำแนะนำที่นี่เพื่อเลือกแถวที่คุ้มค่าที่จะเปรียบเทียบ

คำถามที่พบบ่อย

ฉันต้องการ VRAM เท่าไรสำหรับปัญญาประดิษฐ์เชิงสร้างสรรค์?

ขึ้นอยู่กับขนาดโมเดลและความแม่นยำ โมเดลควอนไทซ์ในช่วง 7B–13B รันบนการ์ดผู้บริโภค 24GB โมเดลขนาดกลางและการให้บริการความแม่นยำเต็มรูปแบบเหมาะกับการ์ด 48GB และโมเดลใหญ่ประมาณ 70B พารามิเตอร์ขึ้นไปมักต้องการตัวเร่งความเร็วระดับ 80GB หรือหลาย GPU ร่วมกัน ควรเผื่อหน่วยความจำเพิ่มสำหรับแคช KV ในการสร้างบริบทยาว

ควรใช้สปอตหรือออนดีมานด์สำหรับปัญญาประดิษฐ์เชิงสร้างสรรค์?

ใช้ความจุสปอตหรือที่ขัดจังหวะสำหรับงานที่ทนต่อความผิดพลาด เช่น การสร้างภาพหรือวิดีโอเป็นชุดและการปรับแต่งที่มีการบันทึกจุดตรวจ ซึ่งการขัดจังหวะเพียงแค่ทำให้ต้องเริ่มใหม่ ใช้ออนดีมานด์หรือความจุที่จองไว้สำหรับจุดสิ้นสุดการสืบค้นในผลิตภัณฑ์และการฝึกอบรมระยะยาวที่ไม่สามารถเริ่มใหม่ได้ง่าย เพราะการถูกเรียกคืนโดยไม่คาดคิดจะสร้างความเสียหายมากกว่า

ฉันต้องการ GPU ศูนย์ข้อมูล 80GB หรือการ์ดผู้บริโภคก็พอ?

สำหรับการทดลอง ปรับแต่ง LoRA/QLoRA และให้บริการโมเดลควอนไทซ์ขนาดเล็กถึงกลาง GPU ผู้บริโภค 24GB มักเพียงพอและถูกกว่าเช่า เลื่อนขึ้นไปใช้ตัวเร่งความเร็ว 80GB ที่มี HBM เมื่อคุณต้องการแบนด์วิดธ์หน่วยความจำสูงขึ้นสำหรับอัตราการประมวลผล, การเร่ง FP8, NVLink สำหรับการขยายหลาย GPU หรือเพียงแค่พื้นที่มากขึ้นสำหรับโมเดลใหญ่และชุดข้อมูลใหญ่

ทำไมการสร้างโทเคนของฉันช้าแม้ว่า GPU จะไม่ถูกใช้งานเต็มที่?

การสืบค้นเชิงสร้างสรรค์มักถูกจำกัดด้วยแบนด์วิดธ์หน่วยความจำมากกว่าการประมวลผลดิบ ดังนั้นคุณอาจเห็นเพดานโทเคนต่อวินาทีสูงแม้ว่าการใช้งานการประมวลผลดูต่ำ การแก้ไขคือใช้การ์ดที่มีหน่วยความจำเร็วขึ้น (HBM แทน GDDR), ควอนไทซ์โมเดลเป็น INT8 หรือ FP8 หรือรวมคำขอหลายคำขอเข้าด้วยกันเพื่อให้น้ำหนักที่สตรีมจากหน่วยความจำให้บริการการสร้างหลายครั้งพร้อมกัน