NVIDIA GH200 Superchip 是数据中心卡、专业卡还是消费卡？

答案

NVIDIA GH200 Superchip 基于 Hopper 架构，配备 96 GB 的 HBM3 显存，带宽为 4,000 GB/s。该卡于 2023 发布，FP16 计算性能为 989 TFLOPS，FP32 计算性能为 494.5 TFLOPS，热设计功耗为 700W。

对于机器学习研究人员来说，这些数字转化为几个实际限制：显存上限决定了你能加载的最大大型语言模型权重（以及在给定序列长度下的最大批量大小），而内存带宽设定了注意力密集型推理的上限。计算吞吐量对密集矩阵乘法最为关键——预训练、大批量预训练和扩散模型。

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.