ผู้ให้บริการคลาวด์ GPU ที่ดีที่สุดพร้อม NVIDIA H100

NVIDIA H100 คืออะไรจริงๆ

H100 เป็นตัวเร่งความเร็วสำหรับศูนย์ข้อมูลของ NVIDIA ที่สร้างขึ้นบนสถาปัตยกรรม Hopper ซึ่งเป็นรุ่นที่อยู่ระหว่าง Ampere A100 รุ่นเก่าและชิ้นส่วน Blackwell รุ่นใหม่กว่า เป็น GPU ที่ทีมส่วนใหญ่เลือกใช้เมื่อพวกเขาต้องการการฝึกโมเดลขนาดใหญ่ที่จริงจังหรือการอนุมานที่มีอัตราการประมวลผลสูงโดยไม่ต้องลดลงไปใช้การ์ดสำหรับผู้บริโภค เมื่อคุณเช่าอินสแตนซ์ H100 จากการเปรียบเทียบข้างต้น คุณกำลังเช่าตัวเร่ง AI ที่สร้างขึ้นเพื่อวัตถุประสงค์เฉพาะ แทนที่จะเป็น GPU เกมที่นำมาใช้ใหม่ ซึ่งส่งผลต่อทั้งสิ่งที่มันสามารถทำได้และราคาที่ต้องจ่าย

คุณสมบัติฮาร์ดแวร์สำคัญที่มีผลต่อนักเช่า:

• หน่วยความจำ: รุ่น SXM5 มาพร้อมกับ HBM3 ขนาด 80 GB ในขณะที่รุ่น PCIe ใช้ HBM2e ขนาด 80 GB เช่นกันในรุ่นมาตรฐาน รุ่นรีเฟรชภายหลัง H100 NVL เพิ่มความจุต่อการ์ด หน่วยความจำ HBM ขนาดใหญ่และรวดเร็วเป็นเหตุผลหลักที่เลือกการ์ดนี้แทนตัวเลือกที่ใช้ GDDR6
• แบนด์วิดท์หน่วยความจำ: HBM3 บนชิ้นส่วน SXM5 ให้แบนด์วิดท์ประมาณ 3 TB/s สูงกว่าการ์ด GDDR6/GDDR6X สำหรับผู้บริโภคมาก แบนด์วิดท์ไม่ใช่ FLOPs ดิบที่ทำให้ชั้นทรานส์ฟอร์มเมอร์ขนาดใหญ่ได้รับข้อมูลอย่างต่อเนื่อง
• เทนเซอร์คอร์และความแม่นยำ: เทนเซอร์คอร์รุ่นที่สี่รองรับ FP16, BF16, TF32, INT8 และ — ใหม่กับ Hopper — FP8 FP8 เป็นคุณสมบัติเด่นสำหรับงาน LLM สมัยใหม่ เพิ่มอัตราการประมวลผลเกือบสองเท่าเมื่อเทียบกับ FP16 บนเคอร์เนลที่รองรับ ในขณะที่ยังรักษาความแม่นยำได้ดีด้วยการปรับสเกลที่เหมาะสม
• เครื่องยนต์ทรานส์ฟอร์มเมอร์: Hopper ผสานฮาร์ดแวร์ FP8 กับซอฟต์แวร์ที่จัดการความแม่นยำแบบไดนามิกต่อชั้น ซึ่งเป็นเหตุผลที่อัตราการประมวลผลของ H100 ในการฝึกและอนุมานทรานส์ฟอร์มเมอร์สามารถนำหน้ารุ่นก่อนหน้าได้อย่างมากบนโมเดลเดียวกัน
• การเชื่อมต่อ: บอร์ด SXM5 ใช้ NVLink และ NVSwitch รุ่นที่สี่สำหรับการเชื่อมต่อ GPU-to-GPU ที่มีแบนด์วิดท์สูงภายในโหนด ขณะที่การ์ด PCIe พึ่งพาบัส PCIe (พร้อมสะพาน NVLink ตัวเลือกในบางรุ่น) ความแตกต่างนี้มีความสำคัญอย่างมากสำหรับงานที่ใช้หลาย GPU
• ระดับพลังงาน: การ์ด SXM5 เป็นชิ้นส่วนประมาณ 700 W ในตู้เซิร์ฟเวอร์ 8-GPU ขณะที่การ์ด PCIe อยู่ที่ประมาณ 350 W คุณไม่ต้องจ่ายค่าไฟฟ้าโดยตรงเมื่อเช่า แต่สิ่งนี้อธิบายว่าทำไมอินสแตนซ์เหล่านี้จึงมีความหนาแน่น ร้อน และมีราคาสูงตามไปด้วย

งานประเภทใดที่ H100 เหมาะสมจริงๆ

H100 คุ้มค่ากับงานที่ต้องการหน่วยความจำสูงและอัตราการประมวลผลสูง เหมาะสมกับ:

• การฝึกและปรับแต่งโมเดลขนาดใหญ่: หน่วยความจำ HBM ขนาด 80 GB ช่วยให้เก็บแบตช์และชิ้นส่วนพารามิเตอร์ที่ใหญ่ขึ้นต่อ GPU ได้ และ NVLink ช่วยให้การขยายหลาย GPU และหลายโหนดมีประสิทธิภาพสำหรับการฝึกแบบขนานข้อมูลและเทนเซอร์
• การอนุมาน LLM ที่มีอัตราการประมวลผลสูง: FP8 และเครื่องยนต์ทรานส์ฟอร์มเมอร์ทำให้มันยอดเยี่ยมสำหรับการให้บริการโมเดลภาษาขนาดใหญ่ที่มีปริมาณคำขอสูง ซึ่งคุณให้ความสำคัญกับจำนวนโทเค็นต่อวินาทีต่อดอลลาร์
• การปรับแต่งโมเดลขนาดกลางถึงใหญ่: การปรับแต่งเต็มรูปแบบและวิธีการประหยัดพารามิเตอร์บนโมเดลหลายพันล้านพารามิเตอร์สามารถทำได้อย่างสะดวกสบาย ในขณะที่การ์ดที่มี VRAM น้อยกว่าจะต้องทำการออฟโหลดอย่างเข้มงวด
• การคำนวณทางวิทยาศาสตร์และ HPC: อัตราการประมวลผล FP64 ที่แข็งแกร่ง (ต่างจากการ์ดสำหรับผู้บริโภคที่ถูกออกแบบให้มีประสิทธิภาพต่ำในจุดนี้) ทำให้มันเหมาะสำหรับงานจำลองและงานเชิงตัวเลข ไม่ใช่แค่ AI เท่านั้น

มัน เกินความจำเป็น สำหรับการทดลองโมเดลขนาดเล็ก การอนุมานเบาของโมเดลขนาดกะทัดรัด ML แบบคลาสสิก โน้ตบุ๊ก และงานเรนเดอร์หรือการแสดงผลส่วนใหญ่ — งานเหล่านี้ทำงานได้ดีบนการ์ดราคาถูกกว่า และการเช่า H100 สำหรับงานเหล่านี้ส่วนใหญ่เป็นการเสียเงินโดยเปล่าประโยชน์ มันแทบจะไม่ ขาดประสิทธิภาพ สำหรับงานโหนดเดียว สิ่งที่ทำให้ทีมต้องข้ามไปใช้รุ่นอื่นคือการต้องการหน่วยความจำรวมมากกว่าที่โหนดเดียวของการ์ดเหล่านี้ให้ได้ หรืออยากได้ประสิทธิภาพที่ดีขึ้นจากรุ่นใหม่กว่า

SXM กับ PCIe — รุ่นที่คุณเช่ามีความสำคัญ

นี่คือรายละเอียดที่ถูกมองข้ามมากที่สุดเมื่อเช่า บอร์ด SXM5 มีแบนด์วิดท์สูงกว่า มีโครงสร้าง NVLink/NVSwitch เต็มรูปแบบ และความถี่คงที่สูงกว่า ซึ่งเป็นเหตุผลที่การฝึกหลาย GPU อย่างจริงจังแทบจะใช้บอร์ดเหล่านี้เสมอ การ์ด PCIe ถูกกว่าในการโฮสต์และเหมาะสำหรับการอนุมาน GPU เดียวหรือภาระงานขนาดเล็ก แต่การเชื่อมต่อระหว่าง GPU ช้ากว่า หากรายการข้างต้นไม่ได้ระบุรุ่น ให้ถือเป็นคำถามที่ต้องแก้ไขก่อนตัดสินใจเช่ารันงานหลาย GPU

ค่าเช่า ความพร้อมใช้งาน และความขาดแคลน

ในสเปกตรัมราคาของ GPU บนคลาวด์ H100 อยู่ในระดับสูง — สูงกว่า A100 และสูงกว่าการ์ดสำหรับผู้บริโภคอย่าง RTX 4090 มาก — แม้ว่าจะถูกแทนที่จากตำแหน่งสูงสุดโดยฮาร์ดแวร์คลาส Blackwell รุ่นใหม่กว่า เนื่องจากอัตราค่าเช่าเปลี่ยนแปลงตลอดเวลาและแตกต่างกันไปตามผู้ให้บริการ ภูมิภาค ระยะเวลาผูกมัด และรุ่น คุณควรอ่านตัวเลขสดจากการเปรียบเทียบข้างต้นแทนที่จะเชื่อข้อมูลคงที่ มีข้อสังเกตเชิงคุณภาพบางประการที่ยังคงเป็นจริง:

• On-demand กับ spot: ความจุ H100 แบบ spot หรือ interruptible อาจถูกกว่ามากเมื่อเทียบกับ on-demand ซึ่งเหมาะสำหรับการฝึกที่มีการบันทึกจุดตรวจและการอนุมานแบบแบตช์ที่ทนต่อความผิดพลาด แต่มีความเสี่ยงสำหรับงานที่ต้องรันยาวโดยไม่มีการบันทึกจุดตรวจที่ดี
• ความขาดแคลน: อุปทาน H100 โดยทั่วไปมีจำกัด ดังนั้นความพร้อมใช้งาน — ไม่ใช่แค่ราคา — จึงแตกต่างกันไปตามภูมิภาคและผู้ให้บริการ รายการที่ถูกที่สุดไม่มีประโยชน์ถ้าความจุถูกขายหมดในภูมิภาคของคุณ
• เช่าแบบต่อ GPU กับแบบเต็มโหนด: ผู้ให้บริการหลายรายให้เช่า H100 ทีละตัว แต่ประสิทธิภาพหลาย GPU ที่ดีที่สุดมาจากโหนด NVLink 8-GPU เต็มรูปแบบ ตรวจสอบว่าคุณได้รับการเข้าถึงแบบเศษส่วน เดี่ยว หรือเต็มโหนด
• ความละเอียดในการเรียกเก็บเงิน: การเรียกเก็บเงินแบบต่อวินาทีหรือชั่วโมงช่วยให้เหมาะกับการปรับแต่งสั้นๆ และการอนุมานที่มีการระเบิดเป็นช่วงๆ ขณะที่ขั้นต่ำรายชั่วโมงเหมาะกับการรันยาวๆ จับคู่โมเดลกับรูปแบบงานของคุณ

คำถามที่พบบ่อย

H100 บนคลาวด์มี VRAM เท่าไร?

H100 รุ่นมาตรฐานมาพร้อมหน่วยความจำแบนด์วิดท์สูง 80 GB — HBM3 บนรุ่น SXM5 และ HBM2e บนรุ่น PCIe รุ่นรีเฟรช H100 NVL เพิ่มความจุต่อการ์ด ตรวจสอบรุ่นและจำนวนหน่วยความจำที่แน่นอนในรายการข้างต้นเสมอ เพราะนั่นกำหนดขนาดโมเดลและแบตช์ที่ใหญ่ที่สุดที่คุณสามารถรันได้โดยไม่ต้องออฟโหลด

ควรเช่า H100 แทน A100 หรือไม่?

สำหรับการฝึกและอนุมานทรานส์ฟอร์มเมอร์ ส่วนใหญ่ตอบว่าใช่: การรองรับ FP8 และเครื่องยนต์ทรานส์ฟอร์มเมอร์ของ Hopper สามารถให้ผ่านโทเค็นต่อ GPU สูงกว่าของ Ampere A100 อย่างมีนัยสำคัญ ซึ่งมักจะชดเชยอัตราค่าเช่าต่อชั่วโมงที่สูงกว่าในแง่ของต้นทุนต่อโทเค็นหรือต่อขั้นตอน สำหรับงานขนาดเล็กหรืองานที่ใช้หน่วยความจำต่ำซึ่งไม่ใช้ FP8 การ์ด A100 หรือการ์ดสำหรับผู้บริโภคราคาถูกกว่ามักจะคุ้มค่ากว่า

ควรเลือก H100 รุ่น SXM5 หรือ PCIe?

เลือก SXM5 สำหรับการฝึกหลาย GPU และงานกระจายที่เชื่อมโยงกันอย่างใกล้ชิด เพราะโครงสร้าง NVLink/NVSwitch และแบนด์วิดท์สูงช่วยให้ขยายสเกลได้ดีกว่ามากในหลาย GPU PCIe เหมาะและมักถูกกว่าสำหรับการอนุมาน GPU เดี่ยวหรือภาระงานขนาดเล็ก หากไม่ระบุรุ่น ให้ถามก่อนจองงานหลาย GPU

สามารถประหยัดเงินด้วยอินสแตนซ์ H100 แบบ spot หรือ interruptible ได้หรือไม่?

ได้ ความจุแบบ interruptible มักถูกกว่าระบบ on-demand มาก และเหมาะสำหรับการฝึกที่มีการบันทึกจุดตรวจบ่อยๆ หรือการอนุมานแบบแบตช์ที่ยอมรับการรีสตาร์ทได้ หลีกเลี่ยงสำหรับงานยาวที่ไม่มีการบันทึกจุดตรวจ เพราะการถูกไล่ออกกลางคันจะทำให้เสียเวลาคำนวณที่จ่ายเงินไปหลายชั่วโมง เปรียบเทียบราคาทั้งสองโหมดในตารางข้างต้น