推理与模型服务的最佳云GPU

推理实际上对租用GPU的需求

推理是模型生命周期中的服务阶段：权重已经训练完成，每当用户发送提示、图像或请求时，你都需要为计算付费。这与训练阶段的硬件计算完全不同。训练是吞吐量受限的，通常在密集集群上运行数小时或数天；推理则对延迟敏感，具有突发性，并且无限期运行。当你租用GPU来服务模型时，你优化的是每个令牌或每个请求的成本，同时保持可接受的响应时间，而不是长时间运行的原始浮点运算性能（FLOPs）。

最重要的限制通常是显存容量，而非计算能力。模型必须与其键值（KV）缓存一起适配在显存中，KV缓存会随着批量大小和上下文长度增长。对于大型语言模型来说，这是主要的压力来源：16位服务的模型仅权重就大约需要每个参数两字节，因此中等规模模型可以轻松放在单个中端显卡上，而前沿规模模型可能需要多块GPU联结。上面的比较让你可以精确筛选显存，以便选择一块能够支持你打算服务的最大模型并留有并发请求余量的显卡。

影响推理成本和延迟的规格

• 显存容量决定模型及其KV缓存是否能放在一块GPU上，或者必须分片。溢出到第二块GPU或主机内存会增加延迟和复杂度。
• 内存带宽是真正限制令牌生成速度的瓶颈。自回归解码每生成一个令牌都要读取整个权重集，因此同一计算等级下，高带宽内存（HBM级）比GDDR级内存生成令牌更快。
• 低精度支持极其重要。支持FP8或INT8张量路径的显卡允许你对模型进行量化，从而以较小的质量损失服务更多请求。量化到8位或4位也会缩小内存占用，通常能让模型适配更便宜的显卡。
• 互联（NVLink与PCIe）仅在模型跨多GPU时才重要。单GPU服务时无关紧要；对于非常大型模型的张量并行服务，它直接影响令牌延迟。

批量（离线）推理与实时推理

“推理”一词下隐藏着两种非常不同的服务模式，它们需要不同的租用方案。

实时推理服务实时用户：聊天机器人、API端点、网页应用背后的图像生成器。在这里，尾部延迟至关重要，GPU常常部分闲置等待流量，且不能容忍实例在请求中途被撤销。这种模式偏好按需、始终可用的容量，以及拥有强大内存带宽的显卡，以保持即使在小批量时每个请求的延迟也很低。

批量或离线推理处理大量积压任务：评分数据集、为语料生成嵌入、为百万张图片生成标题。没有实时用户，因此单项延迟几乎无关紧要，可以打包大批量以充分利用GPU。这种模式非常适合可中断或抢占式容量，因为如果实例被回收，你只需恢复队列。阅读上面的列表时，首先确定你属于哪种模式，因为这会影响合理的计费模型和可用性层级。

为什么吞吐量和利用率胜过峰值FLOPs

纸面上看似性能翻倍的显卡，往往不会让你的推理费用减半。解码受内存限制，因此GPU标称的峰值计算能力在生成过程中常常未被充分利用。你实际付费的是在真实批量大小和上下文长度下，每美元有效生成的令牌数。现代服务栈通过连续批处理、分页KV缓存和量化回收大量浪费的容量。租用时的实际经验是：运行优化服务器的中端GPU往往胜过运行未优化服务器的旗舰卡，而只要能装下模型的更小更便宜的显卡，通常在稳定流量下成本更优。

服务专用的供应商特性

推理持续运行，因此平台周边特性比一次性训练作业更重要。比较上述选项时，检查以下维度：

• 计费粒度：按秒或按分钟计费有利于突发、弹性缩放到零的服务；粗略的按小时计费则惩罚流量峰值间歇性空闲的端点。
• 冷启动和资源准备速度：如果你根据需求扩缩副本，新GPU实例准备就绪的速度直接影响用户感知延迟和自动扩缩能力。
• 持久存储和镜像缓存：每次启动都拉取大型模型权重既慢又可能计费。缓存镜像或挂载卷保存权重能大幅减少冷启动时间。
• 出站流量费用：服务持续向用户发送结果。训练时无感的按GB计费出站流量，对高流量API来说可能成为实际成本。
• 按需可靠性与抢占式定价：实时端点通常需要保证按需容量；批量作业则可选择更便宜的可中断实例。
• 自动扩缩和无服务器选项：流量波动时，缩减到零很重要，这样你就不会为夜间闲置GPU付费。

如何阅读上述推理比较

按此顺序操作。首先，确定你必须服务的最大模型，并确认显卡有足够显存容纳权重和KV缓存，满足预期并发。其次，优先选择高内存带宽和低精度（FP8/INT8）支持，以最大化每美元令牌生成速度。第三，根据你的模式匹配计费和可用性模型：实时端点选用按需且计费细粒度的方案，离线批量作业则选可中断容量。使用实时表查看当前价格，因为按小时计费会随需求和稀缺性变化且因供应商不同而异；不变的原则是，能舒适装下你的模型和流量的最便宜显卡几乎总是胜出，而非最强大的显卡。

常见问题解答

我需要多少GPU显存来服务模型推理？

请为模型权重和键值缓存预留空间。16位权重大约需要每个参数两字节，量化到8位或4位会大幅减少。然后加上KV缓存的余量，KV缓存随批量大小和上下文长度增长。根据显存筛选上面列表，选择一块能装下模型且有余量的显卡，避免并发时显存不足。

便宜的GPU适合推理吗，还是必须用旗舰卡？

对于许多服务工作负载，中端显卡性价比更高。令牌生成受内存带宽限制，而非峰值计算能力，因此旗舰卡的FLOPs常常未被充分利用。如果你的模型能装进较小显卡的显存，且优化的服务栈能保持GPU高效利用，通常每令牌成本低于租用最贵的选项。

推理时应使用抢占式或可中断实例吗？

这取决于模式。离线批量推理能很好地容忍中断，因为你可以恢复队列，这使得更便宜的抢占式容量更具吸引力。实时面向用户的端点通常需要保证按需容量，因为实例在请求中途被回收会导致失败并破坏延迟保证。

推理计费与训练计费有何不同？

训练是有限且吞吐量受限的作业，而推理持续运行且常在流量峰值间歇期闲置。这使得按秒计费、快速资源准备、缩减到零和可预测的出站流量费用对服务比一次性训练更重要。在比较上述选项时，应将这些平台特性与原始的每小时GPU费用一并权衡。