คู่มือรุ่น GPU

แยกตามแบนด์วิดท์หน่วยความจำ

แบนด์วิดท์หน่วยความจำตั้งแต่ 1 TB/s ถึง 8 TB/s — สำคัญสำหรับการให้บริการ LLM ที่จำกัดด้วยหน่วยความจำ

ในหมวดหมู่นี้

งานที่จำกัดด้วยหน่วยความจำ (การอนุมาน LLM, การฝึกอบรมชุดใหญ่) อยู่รอดหรือตายขึ้นอยู่กับแบนด์วิดธ์ GPU คลาวด์ทุกตัวที่มีแบนด์วิดธ์ 1 TB/s หรือมากกว่า

2 TB/s ขึ้นไป — มาตรฐานสำหรับแบนด์วิดท์หน่วยความจำของตัวเร่งปัญญาประดิษฐ์ที่จริงจัง

3 TB/s ขึ้นไป — H100, H200 และการ์ดจอคลาส Blackwell รุ่นใหม่ส่วนใหญ่

5 TB/s ขึ้นไป — ระดับชั้นยอด (H200 และ AMD Instinct MI300+)

8 TB/s ขึ้นไป — ขีดจำกัดแบนด์วิดท์หน่วยความจำของการ์ดจอที่วางจำหน่ายในปัจจุบัน