具有 NVLink 或 InfiniBand 的云 GPU 提供商

当您租用多GPU计算时，NVLink和InfiniBand实际上做了什么

NVLink和InfiniBand从机器的两个不同方面解决了相同的根本问题：在GPU之间快速移动数据，使加速器花时间计算而不是等待。上面的筛选器将列表缩小到暴露一种或两种互连的云实例。它们不可互换——一种是节点内的互连，连接单个服务器内的GPU，另一种是节点间的互连，将服务器连接成集群。对于任何跨多个GPU的工作负载，互连通常是近线性扩展与添加GPU几乎无效之间的区别。

NVLink：单机箱内GPU之间的高速通道

NVLink是NVIDIA的直接GPU到GPU连接。它不通过主机PCIe总线和CPU路由流量，而是将GPU彼此连接（在某些平台上通过NVSwitch交叉开关），使节点中的每个GPU都能以高带宽和低延迟与其他GPU通信。租用配备NVLink的实例时的实际效果是：

• 比仅PCIe节点有更高的GPU到GPU带宽，这在每一步都必须交换梯度、激活或模型分片时非常重要。
• 实际上的跨GPU内存池——单个GPU显存无法容纳的模型可以分布在NVLink域内，跨GPU流量保持在快速互连上，而不是缓慢地通过PCIe传输。
• 降低同步开销，尤其是像all-reduce这类主导数据并行训练的集合操作。

NVLink存在于单个节点内，因此其范围通常是2、4或8个GPU，具体取决于服务器设计。如果上面列表中的供应商宣传带有NVLink的8 GPU节点，意味着这八张卡紧密耦合。它本身并不说明该节点如何连接到其他节点。

InfiniBand：将多台服务器变成一个集群的互连

InfiniBand是一种用于连接独立GPU服务器的网络技术。当训练作业超出单节点时，瓶颈从机箱内部转移到机箱之间，普通以太网网络可能导致GPU阻塞。InfiniBand通过非常高的每链路吞吐量、低且可预测的延迟以及RDMA（远程直接内存访问）解决了这一问题，RDMA允许一台服务器在不涉及任一侧CPU的情况下读取或写入另一台服务器的内存。结合GPUDirect RDMA，数据可以在节点间GPU之间传输，同时大部分绕过主机内存复制。

对于多节点训练，这就是保持扩展效率的关键。比如几十或几百个GPU的集群能在合理时间内训练大型模型的原因是节点间互连能跟上算法所需的集合通信。使用普通网络，同一作业可能会花费大量实际时间等待网络。

哪些工作负载真正需要它

当通信而不仅仅是原始计算成为关键路径时，筛选NVLink或InfiniBand是有意义的：

• 大模型训练和微调，将参数、优化器状态或层分片到多个GPU（张量并行、流水线并行或完全分片数据并行）——这些方案产生持续的跨GPU流量，最受益于节点内的NVLink和节点间的InfiniBand。
• 多节点分布式训练，作业无法容纳在单台服务器内——这里InfiniBand是扩展效率的决定因素。
• 高性能计算和科学模拟，需要紧密的进程间通信，多年来一直依赖InfiniBand和RDMA。
• 大上下文或大模型推理，将单个模型拆分到多个GPU，NVLink减少了跨GPU注意力和权重访问的延迟惩罚。

对于单GPU工作来说，这确实是大材小用。微调小模型、运行适合单卡的批量推理、大多数渲染工作和实验都能在独立GPU上良好运行。如果作业从未跨越GPU边界，支付紧密互连节点或InfiniBand集群的额外费用没有任何好处。

租用前需要检查什么

这两种互连在营销文案中常被混淆，因此请根据上述比较验证具体细节：

• 范围——确认列表中指的是NVLink（节点内GPU耦合）还是InfiniBand（节点间网络）。单节点实例可能有NVLink但完全没有InfiniBand。
• 拓扑和带宽——有多少GPU共享NVLink域（完整NVSwitch全互连还是部分桥接），InfiniBand链路速率及是否启用RDMA/GPUDirect。
• 代际——较新的GPU代际支持更高带宽的NVLink；仅凭“NVLink”标签无法判断速度。
• 多节点可用性——是否能实际预订多个互连节点，以及它们是否位于同一互连结构中，而不是分散在数据中心。
• 软件支持——确保NCCL、MPI和您的框架能识别并使用该互连；配置错误会默默退回到较慢路径。

在成本和可用性方面，互连丰富的实例通常位于价格较高端。配备NVLink的多GPU节点和连接InfiniBand的集群使用高端硬件且需求稳定，因此按需容量较紧张，抢占式或中断式选项比单一普通GPU更少。特别是多节点InfiniBand分配通常受限、预留或以较大批量出售。请将上表价格视为实时参考，因为价格会变动且因供应商而异。

常见问题解答

我需要同时拥有NVLink和InfiniBand吗？

这取决于规模。单节点多GPU作业只需NVLink。一旦训练跨越多台服务器，就需要InfiniBand连接这些节点——两者工作在不同层级，因此大型集群通常依赖每台机器内的NVLink和机器间的InfiniBand。

我的单GPU工作负载在NVLink或InfiniBand实例上会更快吗？

不会。只有当数据在GPU之间或节点之间移动时，这两种互连才重要。适合单GPU的工作负载从不使用这些互连，因此您会为无法利用的容量支付额外费用。只有当您扩展到多GPU时才筛选这些选项。

为什么互连比单GPU规格对大型训练作业更重要？

分布式训练每一步都会花大量时间交换梯度和激活。如果互连跟不上，GPU在等待同步时会空闲，增加GPU数量带来的收益递减。高速互连是保持近线性扩展的关键。

每个多GPU实例都有NVLink吗？

没有。有些多GPU节点仅通过PCIe连接显卡，GPU到GPU带宽远低于NVLink。多个GPU的存在并不保证有NVLink，因此请在上述比较中明确确认互连，而不要仅凭GPU数量假设。