配备 NVIDIA GH200 的最佳云GPU提供商

NVIDIA GH200 Grace Hopper 超芯片到底是什么

GH200 不是传统的插入式 GPU 卡。它是一款超芯片，将 NVIDIA Hopper 代 H100 级 GPU 与基于 Arm Neoverse 的 72 核 Grace CPU 融合在单个模块上，通过 NVLink-C2C —— 一种一致性芯片间互联技术，将 CPU 和 GPU 以远高于标准 PCIe 插槽的带宽连接起来。当您从上面的比较中租用 GH200 实例时，您租用的是整个 CPU+GPU 套装，而不仅仅是安装在别人主机 CPU 上的 GPU。

这套架构正是重点。由于 Grace CPU 和 Hopper GPU 通过 NVLink-C2C 共享一致性内存空间，GPU 可以访问 CPU 大容量的 LPDDR5X 内存池，而不会遇到通常的 PCIe 瓶颈。对于模型或数据集超出 GPU 自身高带宽内存的工作负载，这改变了单节点上可运行的实际范围。

租用时关键的硬件

• GPU 内存：Hopper GPU 端在原始 GH200 中配备 HBM3，在高容量版本中配备 HBM3e。您会看到配置广告中每个超芯片大约有 96 GB HBM3 和约 141 GB HBM3e —— 请在上方列表中核实具体数字，因为内存容量是 GH200 不同 SKU 之间最大的区分因素。
• 系统内存：Grace CPU 附加了大容量 LPDDR5X（通常约 480 GB），GPU 可以一致性访问。结合 HBM，单个 GH200 公开了非常大的统一地址空间 —— 对于大型嵌入、KV 缓存以及图形或推荐系统工作负载非常有用。
• 内存带宽：HBM3/HBM3e 为 GPU 提供多 TB/s 带宽，而 NVLink-C2C 提供数百 GB/s 的一致性 CPU-GPU 带宽 —— 大约是 PCIe 5.0 x16 链路的十倍左右。
• 计算和精度：作为 Hopper 架构的一部分，GPU 包含第四代张量核心和 Transformer 引擎，硬件支持 FP8、BF16、FP16、TF32、INT8 和 FP64。FP8 尤其使 Hopper 在大型语言模型训练和高吞吐推理方面具有吸引力。
• 多 GPU 扩展：GH200 模块可以通过 NVLink 连接，并在 NVL32 风格机架设计中通过 NVLink 交换机结构连接，使多个超芯片更像是一个大型加速器，而非松散的 PCIe 集群。
• 功耗和散热等级：这是仅限数据中心使用的高 TDP 模块（通常可配置至约 1000 W，包括 CPU）。主机内采用液冷或重度风冷，这也是其供应依赖于专用主机而非普通服务器的原因。

GH200 真正适合的工作负载

GH200 的优势在于其一致性 CPU-GPU 内存和 HBM 带宽能发挥实际作用：

• 大型模型和长上下文推理：大型 KV 缓存和大规模权重受益于 HBM 与溢出至 Grace LPDDR5X 的结合，使单节点能够服务于本来需要跨多个独立 GPU 分片的模型。
• 大型语言模型微调和训练：通过 Transformer 引擎支持的 FP8 和 BF16，使其在变换器训练和参数高效微调方面表现强劲，尤其是当数据集或优化器状态对内存需求大时。
• 推荐系统、图神经网络和向量工作负载：任何在 CPU 和 GPU 内存之间流式传输大型表格或图形的工作负载，都能直接受益于 NVLink-C2C 的一致性。
• 高性能计算和科学计算：原生 FP64 加上紧密的 CPU-GPU 结合，适合混合标量 CPU 工作与 GPU 内核的仿真和数据分析管道。

对于小模型实验、适合 24–48 GB 内存的经典计算机视觉微调、非内存受限的批处理作业以及大多数小模型的实时推理，GH200 是过度配置；在这些场景中，更便宜的 Ada 或 Ampere 卡更具成本效益。GH200 也不适合图形、游戏或工作站渲染：它没有显示输出，设计目标是计算而非光栅化。

租赁背景：成本、供应和比较对象

GH200 位于云端 GPU 成本谱的高端，与 H100 级实例同属高端，因为您支付的是 HBM、捆绑的 Grace CPU 以及高带宽互联。相较于需求，供应确实稀缺，因此它通常出现在面向 AI 和专业用途的主机上，而非所有通用云服务，按需容量可能售罄。部分地区存在现货或可中断定价，但不如旧款加速器普遍且优惠。想获取实时、供应商特定的价格，请依赖上方比较，而非固定数字，因为价格会随地区和承诺期限变化。

查看表格时，请权衡以下维度：

• HBM 容量（96 GB HBM3 对比约 141 GB HBM3e）——决定您能常驻的最大模型。
• 按需、预留与现货的可用性及最低承诺。
• 多节点训练的互联拓扑（NVLink 结构对比普通以太网/InfiniBand）。
• 存储吞吐和出口费用，通常在数据密集型训练中占总成本大头。
• 计费粒度（按秒计费对比按小时计费），如果您的作业较短或突发。

常见问题解答

GH200 和 H100 是同一款吗？

不完全是。GH200 包含与 H100 密切相关的 Hopper GPU，但它作为超芯片与 72 核 Grace Arm CPU 及 NVLink-C2C 一致性互联一起发货。独立 H100 只是 GPU，搭配供应商提供的任意 x86 主机，因此 GH200 的优势在于紧密耦合的大型一致性 CPU-GPU 内存池。

GH200 有多少内存？

这取决于具体型号。GPU 端配备约 96 GB HBM3 或约 141 GB HBM3e，Grace CPU 额外配备大容量 LPDDR5X（通常约 480 GB），GPU 可一致性访问。请在上方列表中确认具体 HBM 数字，因为它随 SKU 变化，是限制模型大小的关键规格。

GH200 支持哪些 AI 精度？

作为 Hopper 架构产品，它通过第四代张量核心和 Transformer 引擎支持 FP8、BF16、FP16、TF32、INT8 和 FP64。FP8 是高效大型模型训练和高吞吐推理的主要特色。

什么时候租用 GH200 不划算？

如果您的模型能舒适地放入 24–48 GB 内存，工作负载不受内存带宽限制，或者只需要小模型的实时推理，更便宜的 Ada 或 Ampere 实例会更具性价比。GH200 的优势在于当大内存、HBM 带宽或一致性 CPU-GPU 数据移动成为瓶颈时才体现出来。