NVIDIA GB200 Superchip có hỗ trợ BF16 và FP8 không?

Trả lời

Bảng thông số kỹ thuật đầy đủ NVIDIA GB200 Superchip ghi: thế hệ Blackwell, 384 GB VRAM HBM3e, băng thông bộ nhớ 16,000 GB/s, TFLOPS FP16 4,500, TFLOPS FP32 150, tiêu thụ điện 2,700W, phát hành vào 2024.

Bộ nhớ thường là giới hạn cho phục vụ thời gian thực mô hình lớn — với 384 GB, NVIDIA GB200 Superchip dễ dàng xử lý các transformer cỡ trung bình ở FP16 và các mô hình lớn hơn nhiều ở FP8/INT8. Con số 16,000 GB/s đặc biệt quan trọng cho giải mã autoregressive bị giới hạn bộ nhớ đệm KV, nơi băng thông bộ nhớ giới hạn số token/giây nhiều hơn tính toán thô.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.