具有 NVLink 或 InfiniBand 的云 GPU 提供商

当您租用多GPU计算时，NVLink和InfiniBand实际上做了什么

NVLink和InfiniBand从机器的两个不同侧面解决了同一个根本问题：在GPU之间高速传输数据，使加速器花更多时间计算而不是等待。上面的筛选器将列表缩小到暴露一个或两个互连的云实例。它们不可互换——一个是节点内的互连，连接单个服务器内的GPU，另一个是节点间的互连，将服务器连接成集群。对于任何跨多个GPU的工作负载，互连通常是近线性扩展与添加GPU几乎无效之间的关键区别。

NVLink：单机箱内GPU之间的高速通道

NVLink是NVIDIA的直接GPU到GPU连接。它不通过主机PCIe总线和CPU路由流量，而是将GPU相互连接（在某些平台上通过NVSwitch交叉开关），使节点内每个GPU都能以高带宽、低延迟与其他GPU通信。租用配备NVLink的实例时的实际好处是：

• 比仅PCIe节点有更高的GPU到GPU带宽，这在每一步都需要交换梯度、激活或模型分片时非常重要。
• GPU间的内存池化——实际上，一个GPU显存不足以容纳的模型可以跨NVLink域拆分，跨GPU流量保持在高速互连上，而不是缓慢地通过PCIe传输。
• 集体操作如all-reduce的同步开销更低，这类操作在数据并行训练中占主导地位。

NVLink存在于单个节点内，其范围通常是2、4或8个GPU，具体取决于服务器设计。如果上面列表中的提供商宣传一个“带NVLink”的8 GPU节点，意味着这八张卡紧密耦合。但这本身并不说明该节点如何连接到其他节点。

InfiniBand：将多台服务器变成一个集群的互连

InfiniBand是一种用于连接独立GPU服务器的网络技术。当训练任务超出单节点容量时，瓶颈从机箱内部转移到机箱之间，普通以太网网络可能会阻塞GPU。InfiniBand通过非常高的每链路吞吐量、低且可预测的延迟以及RDMA（远程直接内存访问）解决了这个问题，允许一台服务器在不涉及双方CPU的情况下读写另一台服务器的内存。配合GPUDirect RDMA，数据可以跨节点从GPU到GPU传输，同时大部分绕过主机内存复制。

对于多节点训练，这保证了扩展效率。比如几十或几百个GPU的集群能在合理时间内训练大型模型，原因是节点间互连能跟上算法所需的集体通信。使用普通网络时，同样的任务可能会花费大量实际时间等待网络响应。

哪些工作负载真正需要它

当通信而不仅仅是原始计算成为关键路径时，筛选NVLink或InfiniBand是合理的：

• 大模型训练和微调，将参数、优化器状态或层分片到多个GPU（张量并行、流水线并行或完全分片数据并行）——这些方案产生持续的跨GPU流量，最受益于节点内的NVLink和节点间的InfiniBand。
• 多节点分布式训练，任务根本无法放入单台服务器——此时InfiniBand是扩展效率的决定因素。
• 高性能计算和科学仿真，需要紧密的进程间通信，多年来一直依赖InfiniBand和RDMA。
• 大上下文或大模型推理，将单个模型拆分到多个GPU，NVLink减少了跨GPU注意力和权重访问的延迟惩罚。

对于单GPU工作负载来说，这确实是大材小用。微调小模型、运行适合单卡的批量推理、大多数渲染任务和实验都能在独立GPU上顺利运行。如果任务从未跨越GPU边界，支付紧密互连节点或InfiniBand集群的高价毫无意义。

租用前需要检查什么

这两种互连在营销文案中经常混淆，务必根据上面的对比确认具体情况：

• 范围——确认列表中指的是NVLink（节点内GPU耦合）还是InfiniBand（节点间网络）。单节点实例可能有NVLink但完全没有InfiniBand。
• 拓扑和带宽——有多少GPU共享NVLink域（全NVSwitch全互连还是部分桥接），InfiniBand链路速率以及是否启用RDMA/GPUDirect。
• 代际——新一代GPU支持更高带宽的NVLink；仅凭“NVLink”标签无法判断速度。
• 多节点可用性——是否能实际预订多个互连节点，以及它们是否位于同一互连网络中，而非分散在数据中心。
• 软件支持——确保NCCL、MPI和您的框架能识别并使用该互连；配置错误会默默退回到慢路径。

关于成本和可用性，互连丰富的实例通常价格较高。配备NVLink的多GPU节点和InfiniBand连接的集群使用高端硬件且需求稳定，因此按需容量更紧张，抢占式或中断式选项比单个普通GPU更少。尤其是多节点InfiniBand分配通常受限、预留或按大块出售。以上表格中的价格应视为实时参考，因为价格会随供应商而异并波动。

常见问题解答

我需要同时拥有NVLink和InfiniBand吗？

这取决于规模。单节点多GPU任务只需要NVLink。一旦训练跨越多台服务器，就需要InfiniBand连接这些节点——两者工作在不同层次，因此大型集群通常依赖每台机箱内的NVLink和机箱间的InfiniBand。

我的单GPU工作负载在NVLink或InfiniBand实例上会更快吗？

不会。只有当数据在GPU之间或节点之间移动时，这两种互连才重要。适合单GPU的工作负载根本不会用到这些互连，因此您会为无法使用的容量支付额外费用。只有当您扩展超过一块GPU时才筛选这些选项。

为什么对于大型训练任务，互连比单GPU规格更重要？

分布式训练每一步大量时间用于交换梯度和激活。如果互连跟不上，GPU在等待同步时会闲置，增加GPU数量带来的收益递减。高速互连保证了随着加速器数量增加，扩展接近线性。

每个多GPU实例都有NVLink吗？

没有。一些多GPU节点仅通过PCIe连接显卡，GPU到GPU带宽远低于NVLink。多个GPU的存在并不保证有NVLink，因此请在上面的对比中明确确认互连，而不要仅凭GPU数量假设。