配备 NVIDIA H100 的最佳云GPU提供商

NVIDIA H100 实际是什么

H100 是 NVIDIA 基于 Hopper 架构打造的数据中心加速器，这一代处于较早的 Ampere A100 和更新的 Blackwell 产品之间。当团队需要进行严肃的大型模型训练或高吞吐量推理时，通常会选择这款 GPU，而不会直接使用消费级显卡。从上面的对比中租用 H100 实例时，您租用的是专门为 AI 设计的加速器，而非改装的游戏 GPU，这决定了它的功能和成本。

租用者关心的关键硬件特性：

• 内存：SXM5 版本配备 80 GB HBM3，而 PCIe 版本使用 HBM2e，主流型号同样为 80 GB。后续刷新型号 H100 NVL 提升了每卡容量。大容量高速 HBM 是选择此卡而非基于 GDDR6 选项的最大原因。
• 内存带宽：SXM5 版本的 HBM3 提供约 3 TB/s，远超消费级 GDDR6/GDDR6X 显卡。带宽而非纯 FLOPs 是保证大型 Transformer 层数据供应的关键。
• 张量核心与精度：第四代张量核心支持 FP16、BF16、TF32、INT8，以及 Hopper 新增的 FP8。FP8 是现代大型语言模型工作负载的核心特性，在支持的内核上相比 FP16 大约翻倍吞吐量，同时通过适当缩放保持精度可接受。
• Transformer 引擎：Hopper 将 FP8 硬件与动态管理每层精度的软件结合，这使得 H100 在 Transformer 训练和推理中的吞吐量远超上一代同模型。
• 互联：SXM5 板卡采用第四代 NVLink 和 NVSwitch，实现节点内 GPU 之间的高带宽连接，而 PCIe 卡依赖 PCIe 总线（部分型号支持可选 NVLink 桥接）。这一差异对多 GPU 任务影响极大。
• 功率等级：SXM5 卡功耗约 700 W，适用于 8 GPU 服务器机箱；PCIe 卡功耗较低，约 350 W。租用时不直接支付电费，但这解释了这些实例的高密度、高热量及相应定价。

H100 适合的工作负载

H100 在内存受限、吞吐量需求高的任务中表现出色。它非常适合：

• 大型模型训练与微调：80 GB HBM 允许每个 GPU 承载更大批次和更大参数分片，NVLink 使多 GPU 和多节点的数据并行及张量并行训练高效扩展。
• 高吞吐量大型语言模型推理：FP8 和 Transformer 引擎使其非常适合高请求量的大型语言模型服务，关注每美元每秒处理的 token 数。
• 中大型模型微调：多亿参数模型的全微调和参数高效方法在此卡上运行轻松，而小显存卡则需激进卸载。
• 科学计算与高性能计算：强大的 FP64 吞吐量（不同于消费卡在此方面故意较弱）使其不仅适合 AI，也适合仿真和数值计算。

它对于小模型实验、轻量推理、经典机器学习、笔记本和大多数渲染或可视化工作来说是 过度配置 ——这些任务用更便宜的显卡即可良好运行，租用 H100 多半是浪费钱。它很少 性能不足，除非单节点内存不够或需要最新一代的效率提升。

SXM 与 PCIe —— 租用的版本很重要

这是租用时最容易被忽视的细节。SXM5 板卡提供更高带宽、完整的 NVLink/NVSwitch 互联和更高的持续频率，因此严肃的多 GPU 训练几乎总是使用它们。PCIe 卡托管成本更低，适合单 GPU 推理或较小任务，但其 GPU 间连接较慢。如果上方列表未标明版本，租用多 GPU 训练前务必确认。

租用成本、可用性与稀缺性

在云 GPU 价格范围内，H100 位于高端——高于 A100，远高于 RTX 4090 等消费卡——但已被更新的 Blackwell 级硬件取代绝对顶峰。由于价格随供应商、地区、租期和版本不断变化，建议参考上方对比中的实时数据，而非固定数字。以下几点基本稳定：

• 按需与抢占式：抢占式或抢占容量的 H100 价格通常远低于按需，适合有检查点的训练和容错批量推理，但对无良好检查点的长时间单次任务风险较大。
• 稀缺性：H100 供应历来紧张，故可用性（不仅是价格）因地区和供应商而异。若所在区域容量售罄，最低价列表毫无意义。
• 单 GPU 与整节点：许多供应商出租单个 H100，但最佳多 GPU 性能来自完整的 8 GPU NVLink 节点；请确认您租用的是部分、单卡还是整节点访问。
• 计费粒度：按秒或按分钟计费适合短时微调和突发推理；按小时最低计费适合长时间运行。根据工作负载模式选择合适计费方式。

常见问题解答

云端 H100 有多少显存？

主流 H100 配备 80 GB 高带宽内存——SXM5 版本为 HBM3，PCIe 版本为 HBM2e。后续 H100 NVL 刷新型号提升了每卡容量。务必确认上方列表中的具体版本和内存大小，这决定了您能运行的最大模型和批次大小，无需卸载。

租用 H100 比 A100 更划算吗？

对于 Transformer 训练和推理，通常是的：Hopper 的 FP8 支持和 Transformer 引擎能在每 GPU 吞吐量上明显优于 Ampere 的 A100，通常能抵消更高的小时费率，从每 token 或每步成本角度看更具性价比。对于不利用 FP8 的小型或内存轻任务，价格更低的 A100 或消费卡可能更划算。

我应该选择 SXM5 还是 PCIe H100？

多 GPU 训练和紧耦合分布式任务请选择 SXM5，因为其 NVLink/NVSwitch 互联和更高带宽能更好地跨 GPU 扩展。PCIe 适合单 GPU 推理或较小工作负载，且通常更便宜。若未指定版本，预订多 GPU 运行前请询问。

使用抢占式或可中断 H100 实例能省钱吗？

可以，抢占式容量通常比按需便宜很多，适合有频繁检查点的训练或容忍重启的批量推理。避免用于无检查点的长时间任务，以免中途被驱逐浪费数小时付费计算。请对比上表中的两种计费模式。