NVIDIA GH200 Superchip 是否足够用于生产推理？

答案

简短回答：NVIDIA GH200 Superchip 运行在 989 FP16 TFLOPS，配备 4,000 GB/s 内存带宽。详细回答取决于运行的具体任务。

对于大批量密集 FP16 训练，NVIDIA GH200 Superchip 饱和张量核心，吞吐量接近峰值 FLOPS。对于长上下文基础模型的内存带宽受限推理，带宽更为关键——4,000 GB/s 数值比峰值 TFLOPS 更重要。科学计算方面，FP32 的 494.5 TFLOPS 是相关指标，使 NVIDIA GH200 Superchip 符合其 Hopper 类别的 HPC 预期。

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.