NVIDIA GB200 Superchip 支持 BF16 和 FP8 吗？

答案

完整的 NVIDIA GB200 Superchip 规格表显示：Blackwell 代，384 GB HBM3e 显存，16,000 GB/s 内存带宽，4,500 TFLOPS FP16，150 TFLOPS FP32，2,700W 功耗，发布于 2024。

内存通常是大型模型实时服务的瓶颈——在 384 GB 的容量下，NVIDIA GB200 Superchip 能轻松处理 FP16 中等规模变换器和更大规模的 FP8/INT8 模型。16,000 GB/s 的带宽对于 KV 缓存绑定的自回归解码尤为重要，因为内存带宽比纯计算更限制每秒生成的令牌数。

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.