NVIDIA GB200 Superchip รองรับ BF16 และ FP8 หรือไม่?

คำตอบ

แผ่นสเปกเต็มของ NVIDIA GB200 Superchip ระบุ: รุ่น Blackwell, หน่วยความจำ VRAM 384 GB ของ HBM3e, ความเร็วแบนด์วิดธ์หน่วยความจำ 16,000 GB/s, TFLOPS FP16 4,500, TFLOPS FP32 150, กำลังไฟ 2,700W, เปิดตัวใน 2024

หน่วยความจำมักเป็นข้อจำกัดสำหรับการให้บริการแบบเรียลไทม์โมเดลขนาดใหญ่ — ที่ 384 GB, NVIDIA GB200 Superchip สามารถรองรับทรานส์ฟอร์เมอร์ขนาดกลางใน FP16 และโมเดลที่ใหญ่กว่ามากใน FP8/INT8 ได้อย่างสบาย ตัวเลข 16,000 GB/s มีความสำคัญโดยเฉพาะสำหรับการถอดรหัสอัตโนมัติแบบ KV-cache-bound ซึ่งแบนด์วิดธ์หน่วยความจำจำกัดจำนวนโทเค็นต่อวินาทีมากกว่าการคำนวณดิบ

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.