ผู้ให้บริการคลาวด์ GPU ที่ดีที่สุดพร้อม NVIDIA GH200

NVIDIA GH200 Grace Hopper Superchip คืออะไร

GH200 ไม่ใช่การ์ด GPU แบบเสริมทั่วไป แต่เป็น ซูเปอร์ชิป ที่ผสาน GPU รุ่น Hopper-class H100 ของ NVIDIA กับ CPU Grace ที่ใช้ Arm Neoverse 72 คอร์ในโมดูลเดียวกัน เชื่อมต่อด้วย NVLink-C2C — การเชื่อมต่อชิปต่อชิปแบบสอดคล้องที่เชื่อม CPU และ GPU ด้วยแบนด์วิดท์สูงกว่าช่อง PCIe ปกติ เมื่อคุณเช่าอินสแตนซ์ GH200 จากการเปรียบเทียบข้างต้น คุณกำลังเช่าชุด CPU+GPU ทั้งชุด ไม่ใช่แค่ GPU ที่ต่อกับ CPU ของโฮสต์คนอื่น

สถาปัตยกรรมนี้คือจุดสำคัญ เพราะ CPU Grace และ GPU Hopper ใช้พื้นที่หน่วยความจำร่วมกันผ่าน NVLink-C2C ทำให้ GPU สามารถเข้าถึงหน่วยความจำ LPDDR5X ขนาดใหญ่ของ CPU ได้โดยไม่มีคอขวด PCIe ปกติ สำหรับงานที่โมเดลหรือชุดข้อมูลเกินหน่วยความจำแบนด์วิดท์สูงของ GPU นี่เปลี่ยนสิ่งที่สามารถรันได้ในโหนดเดียว

ฮาร์ดแวร์ที่สำคัญเมื่อคุณเช่า

• หน่วยความจำ GPU: ฝั่ง GPU Hopper ใช้ HBM3 ใน GH200 รุ่นดั้งเดิม และ HBM3e ในรุ่นความจุสูง คุณจะเห็นการตั้งค่าที่โฆษณาประมาณ 96 GB ของ HBM3 และประมาณ 141 GB ของ HBM3e ต่อซูเปอร์ชิป — ตรวจสอบตัวเลขที่แน่นอนในรายการข้างบน เพราะความจุหน่วยความจำเป็นตัวแปรสำคัญที่สุดระหว่าง SKU ของ GH200
• หน่วยความจำระบบ: CPU Grace เพิ่มแรม LPDDR5X ขนาดใหญ่ (มักระบุประมาณ 480 GB) ที่ GPU สามารถเข้าถึงได้อย่างสอดคล้อง รวมกับ HBM ทำให้ GH200 เดียวมีพื้นที่แอดเดรสแบบรวมขนาดใหญ่ — มีประโยชน์สำหรับ embeddings ขนาดใหญ่, แคช KV และงานกราฟหรือแนะนำ
• แบนด์วิดท์หน่วยความจำ: HBM3/HBM3e ให้แบนด์วิดท์หลายเทราไบต์ต่อวินาทีแก่ GPU ขณะที่ NVLink-C2C ให้แบนด์วิดท์ CPU-GPU แบบสอดคล้องกันหลายร้อย GB/s — ประมาณหนึ่งลำดับความใหญ่กว่าลิงก์ PCIe 5.0 x16
• การประมวลผลและความแม่นยำ: ในฐานะชิ้นส่วน Hopper GPU มี Tensor Cores รุ่นที่สี่และ Transformer Engine พร้อมฮาร์ดแวร์รองรับ FP8, BF16, FP16, TF32, INT8 และ FP64 โดยเฉพาะ FP8 ทำให้ Hopper น่าสนใจสำหรับการฝึก LLM และการอนุมานความเร็วสูง
• การขยายหลาย GPU: โมดูล GH200 สามารถเชื่อมต่อด้วย NVLink และในดีไซน์แร็คแบบ NVL32 ด้วย NVLink Switch fabric ทำให้ซูเปอร์ชิปหลายตัวทำงานเหมือนตัวเร่งความเร็วขนาดใหญ่ตัวเดียว มากกว่าการเป็นคลัสเตอร์ PCIe หลวมๆ
• ระดับพลังงานและความร้อน: โมดูลนี้สำหรับศูนย์ข้อมูลเท่านั้น มี TDP สูง (มักปรับได้ถึงประมาณ 1000 W รวม CPU) ใช้ระบบระบายความร้อนด้วยน้ำหรืออากาศหนักในโฮสต์ จึงมีจำกัดเฉพาะโฮสต์เฉพาะทาง ไม่ใช่เซิร์ฟเวอร์ทั่วไป

งานที่ GH200 เหมาะสมจริงๆ

GH200 ได้รับตำแหน่งที่เหมาะสมเมื่อหน่วยความจำ CPU-GPU แบบสอดคล้องและแบนด์วิดท์ HBM ทำงานจริง:

• การอนุมานโมเดลขนาดใหญ่และบริบทยาว: แคช KV ขนาดใหญ่และน้ำหนักโมเดลขนาดใหญ่ได้รับประโยชน์จากการรวม HBM กับ spillover ไปยัง LPDDR5X ของ Grace ทำให้โหนดเดียวสามารถให้บริการโมเดลที่ต้องแบ่งชิ้นส่วนบน GPU หลายตัวได้
• การปรับแต่งและฝึก LLM: FP8 และ BF16 ผ่าน Transformer Engine ทำให้แข็งแกร่งสำหรับการฝึกทรานส์ฟอร์เมอร์และการปรับแต่งพารามิเตอร์อย่างมีประสิทธิภาพ โดยเฉพาะเมื่อชุดข้อมูลหรือสถานะออปติไมเซอร์ต้องการหน่วยความจำสูง
• งานแนะนำ, GNN และเวกเตอร์: งานที่สตรีมตารางหรือกราฟขนาดใหญ่ระหว่างหน่วยความจำ CPU และ GPU ได้รับประโยชน์โดยตรงจากความสอดคล้องของ NVLink-C2C
• HPC และการคำนวณทางวิทยาศาสตร์: FP64 เนทีฟและการเชื่อมต่อ CPU-GPU อย่างแน่นหนาเหมาะสำหรับการจำลองและสายงานวิเคราะห์ข้อมูลที่ผสมงาน CPU แบบสเกลาร์กับเคอร์เนล GPU

มัน เกินความจำเป็น สำหรับการทดลองโมเดลขนาดเล็ก, การปรับแต่งวิชันคอมพิวเตอร์แบบคลาสสิกที่พอดีกับ 24–48 GB, งานแบตช์ที่ไม่จำกัดด้วยแบนด์วิดท์หน่วยความจำ และการอนุมานแบบเรียลไทม์ของโมเดลขนาดเล็กส่วนใหญ่ — การ์ด Ada หรือ Ampere ที่ถูกกว่าจะคุ้มค่ากว่า GH200 ยังไม่เหมาะสำหรับกราฟิก, เกม หรือการเรนเดอร์เวิร์กสเตชัน: ไม่มีพอร์ตแสดงผลและออกแบบมาสำหรับการประมวลผล ไม่ใช่การเรนเดอร์แบบแรสเตอร์

บริบทการเช่า: ค่าใช้จ่าย, ความพร้อมใช้งาน และสิ่งที่ต้องเปรียบเทียบ

GH200 อยู่ใกล้ จุดสูงสุดของสเปกตรัมราคาการ์ด GPU บนคลาวด์ ในระดับพรีเมียมเดียวกับอินสแตนซ์ H100-class เพราะคุณจ่ายสำหรับ HBM, CPU Grace รวมในชุด และการเชื่อมต่อแบนด์วิดท์สูง อุปทานมีจำกัดเมื่อเทียบกับความต้องการ จึงมักปรากฏบนโฮสต์ที่เน้น AI และเฉพาะทางมากกว่าคลาวด์ทั่วไป และความจุแบบ on-demand อาจขายหมด ราคาสปอตหรือแบบขัดจังหวะมีในบางที่แต่ไม่บ่อยและไม่ลึกเท่ากับตัวเร่งความเร็วรุ่นเก่า สำหรับอัตรารายวันเฉพาะผู้ให้บริการ ให้ใช้การเปรียบเทียบข้างบนแทนตัวเลขคงที่ เพราะราคามีการเปลี่ยนแปลงและแตกต่างตามภูมิภาคและระยะเวลาผูกมัด

เมื่ออ่านตาราง ให้พิจารณามิติพวกนี้:

• ความจุ HBM (96 GB HBM3 เทียบกับ ~141 GB HBM3e) — กำหนดขนาดโมเดลใหญ่สุดที่คุณเก็บไว้ได้
• ความพร้อมใช้งาน on-demand vs reserved vs spot และข้อผูกมัดขั้นต่ำ
• โทโพโลยีการเชื่อมต่อ สำหรับการฝึกหลายโหนด (NVLink fabric เทียบกับ Ethernet/InfiniBand ธรรมดาระหว่างโหนด)
• อัตราการถ่ายโอนข้อมูลและค่าธรรมเนียมการส่งออก ซึ่งมักเป็นต้นทุนหลักสำหรับการฝึกที่ใช้ข้อมูลมาก
• ความละเอียดในการเรียกเก็บเงิน (ต่อวินาทีเทียบกับต่อชั่วโมง) หากงานของคุณสั้นหรือเป็นช่วงๆ

คำถามที่พบบ่อย

GH200 เหมือนกับ H100 หรือไม่?

ไม่ใช่ทั้งหมด GH200 มี GPU Hopper ที่เกี่ยวข้องกับ H100 อย่างใกล้ชิด แต่ส่งมอบเป็นซูเปอร์ชิปที่รวม CPU Grace 72 คอร์และการเชื่อมต่อสอดคล้อง NVLink-C2C ในขณะที่ H100 แยกเดี่ยวเป็นแค่ GPU ที่จับคู่กับโฮสต์ x86 ใดๆ ที่ผู้ให้บริการจัดหา ดังนั้นข้อได้เปรียบของ GH200 คือพื้นที่หน่วยความจำ CPU-GPU แบบสอดคล้องขนาดใหญ่ที่เชื่อมต่อแน่นหนา

GH200 มีหน่วยความจำเท่าไร?

ขึ้นอยู่กับรุ่น ฝั่ง GPU มีประมาณ 96 GB ของ HBM3 หรือประมาณ 141 GB ของ HBM3e และ CPU Grace เพิ่มแรม LPDDR5X ขนาดใหญ่ (มักระบุใกล้ 480 GB) ที่ GPU เข้าถึงได้อย่างสอดคล้อง ยืนยันตัวเลข HBM ที่แน่นอนในรายการข้างบน เพราะแตกต่างตาม SKU และเป็นสเปกที่จำกัดขนาดโมเดล

GH200 รองรับความแม่นยำอะไรบ้างสำหรับ AI?

ในฐานะชิ้นส่วน Hopper รองรับ FP8, BF16, FP16, TF32, INT8 และ FP64 ผ่าน Tensor Cores รุ่นที่สี่และ Transformer Engine FP8 เป็นฟีเจอร์เด่นสำหรับการฝึกโมเดลขนาดใหญ่ที่มีประสิทธิภาพและการอนุมานความเร็วสูง

เมื่อใดที่การเช่า GH200 ไม่คุ้มค่า?

ถ้าโมเดลของคุณพอดีกับ 24–48 GB งานของคุณไม่จำกัดด้วยแบนด์วิดท์หน่วยความจำ หรือคุณต้องการแค่อนุมานโมเดลขนาดเล็กแบบเรียลไทม์ อินสแตนซ์ Ada หรือ Ampere ที่ถูกกว่าจะคุ้มค่ากว่า GH200 GH200 จะคุ้มค่าเฉพาะเมื่อหน่วยความจำขนาดใหญ่, แบนด์วิดท์ HBM หรือการเคลื่อนย้ายข้อมูล CPU-GPU แบบสอดคล้องเป็นคอขวด