เช่า NVIDIA GB200 Superchip บนคลาวด์

แผ่นสเปกเต็มของ NVIDIA GB200 Superchip ระบุ: รุ่น Blackwell, หน่วยความจำ VRAM 384 GB ของ HBM3e, ความเร็วแบนด์วิดธ์หน่วยความจำ 16,000 GB/s, TFLOPS FP16 4,500, TFLOPS FP32 150, กำลังไฟ 2,700W, เปิดตัวใน 2024

หน่วยความจำมักเป็นข้อจำกัดสำหรับการให้บริการแบบเรียลไทม์โมเดลขนาดใหญ่ — ที่ 384 GB, NVIDIA GB200 Superchip สามารถรองรับทรานส์ฟอร์เมอร์ขนาดกลางใน FP16 และโมเดลที่ใหญ่กว่ามากใน FP8/INT8 ได้อย่างสบาย ตัวเลข 16,000 GB/s มีความสำคัญโดยเฉพาะสำหรับการถอดรหัสอัตโนมัติแบบ KV-cache-bound ซึ่งแบนด์วิดธ์หน่วยความจำจำกัดจำนวนโทเค็นต่อวินาทีมากกว่าการคำนวณดิบ

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.

หัวข้อประสิทธิภาพ NVIDIA GB200 Superchip: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, แบนด์วิดท์ 16,000 GB/s, VRAM 384 GB

แปลงเป็นการทดสอบประสิทธิภาพจริง: การฝึกโมเดล LLM ขนาด 7 พันล้านพารามิเตอร์ใน FP16 ด้วยขนาดแบตช์ที่เหมาะสมมักจะเต็มประสิทธิภาพการคำนวณก่อนแบนด์วิดท์; การให้บริการแบบเรียลไทม์บนโมเดลเดียวกันมักถูกจำกัดด้วยแบนด์วิดท์และสอดคล้องกับตัวเลข 16,000 GB/s การทดสอบการสร้างภาพ diffusion อยู่ระหว่างสองแบบ — ขั้นตอนที่เน้นการคำนวณหนักใช้ tensor cores ได้ดี ขณะที่บล็อก attention ยังคงใช้งานแบนด์วิดท์

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.

NVIDIA GB200 Superchip เหมาะที่สุดสำหรับงานที่ 384 GB VRAM และ Blackwell tensor cores ของมันเข้ากันได้ดี: Largest-scale AI training, multi-trillion parameter models

ถ้างานของคุณต้องการหน่วยความจำมากกว่านี้อย่างมาก (เช่น การฝึกโมเดลระดับแนวหน้าจากศูนย์) NVIDIA GB200 Superchip จะมีขนาดเล็กเกินไปและคุณควรเลือกการ์ดระดับ H100/H200/B200 ถ้างานของคุณต้องการน้อยกว่า (เช่น การให้บริการขนาดเล็กบนโมเดล 7B พารามิเตอร์) การ์ดที่ถูกกว่าอย่าง L4 หรือ RTX 4090 อาจคุ้มค่ากว่า สำหรับช่วงกลาง NVIDIA GB200 Superchip มักเป็นตัวเลือกที่สมเหตุสมผล

Review full specs and related comparisons on the NVIDIA GB200 Superchip page.