支持 NVLink 或 InfiniBand 的云 GPU 提供商

当您租用多GPU计算时，NVLink和InfiniBand实际上做了什么

NVLink和InfiniBand从机器的两个不同侧面解决了同一个根本问题：在GPU之间快速传输数据，使加速器花时间计算而不是等待。上面的筛选器将列表缩小到暴露一种或两种互连的云实例。它们不可互换——一种是节点内的互连，连接单个服务器内的GPU，另一种是节点间的互连，将服务器连接成集群。对于任何跨多个GPU的工作负载，互连通常是接近线性扩展和添加GPU几乎无效之间的区别。

NVLink：单机箱内GPU之间的高速通道

NVLink是NVIDIA的直接GPU对GPU连接。它不是通过主机PCIe总线和CPU路由流量，而是将GPU彼此连接（在某些平台上通过NVSwitch交叉开关），使节点中的每个GPU都能以高带宽和低延迟与其他GPU通信。当您租用配备NVLink的实例时，实际效果是：

• 比仅PCIe节点有更高的GPU间带宽，这在每一步都必须交换梯度、激活或模型分片时非常重要。
• 跨GPU的内存池化——实际上，一个GPU的显存不足以容纳的模型可以分布在NVLink域内，跨GPU流量保持在高速互连上，而不是缓慢通过PCIe。
• 更低的同步开销，适用于主导数据并行训练的全归约等集合操作。

NVLink存在于单个节点内，因此其范围通常是2、4或8个GPU，具体取决于服务器设计。如果上面列表中的提供商宣传一个“带NVLink”的8 GPU节点，这意味着这八张卡紧密耦合。它本身并不说明该节点如何连接到其他节点。

InfiniBand：将多台服务器变成一个集群的互连

InfiniBand是一种用于连接独立GPU服务器的网络技术。当训练任务超出单个节点时，瓶颈从机箱内部转移到机箱之间，普通以太网网络可能会阻塞GPU。InfiniBand通过非常高的每链路吞吐量、低且可预测的延迟和远程直接内存访问（RDMA）解决了这个问题，允许一台服务器在不涉及任一侧CPU的情况下读取或写入另一台服务器的内存。配合GPUDirect RDMA，数据可以跨节点从GPU传输到GPU，同时大部分绕过主机内存复制。

对于多节点训练，这就是保持扩展效率的关键。比如几十或几百个GPU的集群能够在合理时间内训练大型模型的原因，是节点间互连能够跟上算法所需的集合通信速度。使用普通网络，同一任务可能会有大量时间花在等待网络上。

哪些工作负载真正需要这个

当通信而不仅仅是原始计算成为关键路径时，筛选NVLink或InfiniBand是有意义的：

• 大型模型训练和微调，将参数、优化器状态或层分片到多个GPU（张量并行、流水线并行或完全分片数据并行）——这些方案产生持续的跨GPU流量，最受益于节点内的NVLink和节点间的InfiniBand。
• 多节点分布式训练，任务根本无法装入一台服务器——这里InfiniBand是扩展效率的决定因素。
• 高性能计算和科学模拟，需要紧密的进程间通信，多年来一直依赖InfiniBand和RDMA。
• 大上下文或大型模型推理，将单个模型拆分到多个GPU，NVLink减少了跨GPU注意力和权重访问的延迟惩罚。

对于单GPU工作来说，这实际上是大材小用。微调小模型、运行适合单卡的批量推理、大多数渲染任务和实验都可以在独立GPU上顺利运行。如果您的任务从未跨越GPU边界，支付紧密互连节点或InfiniBand集群的额外费用没有任何好处。

租用前要检查什么

这两种互连在营销文案中经常混淆，因此请根据上述比较核实具体细节：

• 范围——确认列表中指的是NVLink（节点内GPU耦合）还是InfiniBand（节点间网络）。单节点实例可以有NVLink而完全没有InfiniBand。
• 拓扑和带宽——有多少GPU共享NVLink域（完整NVSwitch全互联还是部分桥接），InfiniBand链路速率以及是否启用RDMA/GPUDirect。
• 代数——较新的GPU代数支持更高带宽的NVLink；仅凭“NVLink”标签无法判断速度。
• 多节点可用性——是否可以实际预订多个互连节点，以及它们是否位于同一互连架构中，而不是分散在数据中心各处。
• 软件支持——NCCL、MPI和您的框架是否识别并使用该互连；配置错误会默默退回到较慢路径。

在成本和可用性方面，互连丰富的实例通常位于价格区间的高端。配备NVLink的多GPU节点和连接InfiniBand的集群使用高端硬件且需求稳定，因此按需容量较紧张，现货或可中断选项比单个普通GPU更少。尤其是多节点InfiniBand分配通常受限、预留或以较大批量出售。以上表格中的价格应视为实时参考，因为价格会变动且因提供商而异。

常见问题解答

我需要同时拥有NVLink和InfiniBand吗？

这取决于规模。单节点多GPU任务只需要NVLink。一旦训练跨越多个服务器，您还需要InfiniBand连接这些节点——两者工作在不同层次，因此大型集群通常依赖每台机器内的NVLink和机器间的InfiniBand。

我的单GPU工作负载在NVLink或InfiniBand实例上会更快吗？

不会。只有当数据在GPU之间或节点之间移动时，这两种互连才重要。适合单GPU的工作负载从不触及这两种互连，因此您会为无法使用的容量支付额外费用。只有当您扩展到多GPU时才筛选这些互连。

为什么互连比每GPU规格对大型训练任务更重要？

分布式训练在每一步中大量交换梯度和激活。如果互连跟不上，GPU在等待同步时处于空闲状态，增加GPU数量带来的收益递减。快速互连能保持随着加速器数量增加的近线性扩展。

每个多GPU实例都有NVLink吗？

没有。一些多GPU节点仅通过PCIe连接显卡，GPU间带宽远低于NVLink。多个GPU的存在并不保证有NVLink，因此请在上述比较中明确确认互连类型，而不要仅凭GPU数量假设。