提供抢占式/可中断实例的云GPU供应商

什么是现货和可抢占GPU实例

一个现货或可抢占GPU实例是从提供商的备用容量池中以大幅折扣租用的，交换的条件是：提供商可以随时收回该机器，通常几乎没有或没有任何通知。硬件与同款GPU的按需版本完全相同——相同的显存、相同的张量核心、相同的互联——但其可用性的合同条款不同。你购买的计算资源之所以便宜，正是因为它是可中断的。上面列表中标记为提供现货或可抢占容量的每个提供商都会以某种形式体现这种权衡，尽管名称不同：现货、可抢占、中断式、社区或剩余实例都描述了同一个基本概念。

折扣存在的原因是数据中心很少达到100%的利用率。闲置的GPU不会产生收益，因此提供商以标准价格的一小部分出售这些空闲资源，并接受在全价客户需要时或自身调度需求变化时可能随时收回的风险。对于租户来说，这意味着表面上的节省是真实的，但它伴随着你在保证按需节点上没有的运营义务。

为什么中断式定价对实际工作负载很重要

理解现货容量的原因在于GPU租用费用昂贵，而中断式实例的折扣通常足够大，能够改变哪些项目在经济上可行。问题是并非所有工作负载都能容忍运行中被终止。决定因素几乎总是你的作业检查点和恢复的能力。

• 非常合适： 长时间训练和微调运行，每隔几分钟将检查点保存到持久存储，大批量推理或嵌入任务，离线渲染，超参数搜索中各个试验相互独立，以及任何已经构建了容错机制的流水线。
• 不适合： 实时或低延迟推理服务于在线应用，交互式开发会话中丢失实例意味着丢失未保存的工作，以及无法优雅恢复的紧密同步多GPU训练。

思维模型很简单：如果丢失实例只会让你损失自上次检查点以来的几分钟，现货几乎总是正确的选择。如果丢失实例会让你损失一个请求、一个客户或数小时未保存的状态，那么按需的溢价为你买来了值得支付的安心。

需要权衡的取舍

中断是显而易见的成本，但不是唯一的。当你在这方面比较提供商时，请牢记全局情况：

• 收回行为： 有些提供商会提前短暂通知（通常几分钟），以便你的作业保存状态并干净退出；其他提供商则可能立即收回机器。宽限期非常宝贵，因为它允许你触发最后的检查点。
• 可用性波动： 现货池容量会波动。你想要的特定GPU在你看到的价格下可能会有一段时间不可用，且最受欢迎的加速器比老旧或不太流行的卡更容易被收回。
• 存储持久性： 如果你的检查点只存放在实例的本地磁盘上，中断会导致它们丢失。只有当你的数据和检查点存放在持久或网络存储上，能在节点消失后存活，现货才安全可用。
• 重启阻力： 收回后你必须重新获取容量，重新拉取容器镜像和数据，并恢复运行——因此冷启动时间和镜像大小会影响你的有效吞吐量和成本。

租用现货容量前需要检查什么

由于同一个词在不同提供商间含义可能不同，请使用上面的比较确认具体细节，而不要假设。在将工作负载提交给中断式实例之前，请完成以下清单：

• 通知窗口： 提供商是否在收回前警告你，宽限期有多长？即使30到120秒也会改变你设计检查点的方式。
• 收回频率： 现货机器是否仅在真正的容量压力下被收回，还是也会因常规负载均衡而收回？频繁且低压力的收回会侵蚀节省。
• 检查点机制： 你能否廉价地将检查点写入持久对象存储或网络存储，且下载它们的费用合理？这是安全使用现货的最重要条件。
• 自动重新获取： 平台是否在容量恢复时自动重新排队并重启你的作业，还是你必须自己编写脚本？托管的重新排队让现货使用更省心。
• 多GPU和多节点行为： 如果你需要多个GPU一起使用，丢失一个可能会阻塞整个作业。检查提供商是否能原子性地保留一组GPU，还是只提供单GPU现货。
• 计费粒度： 按秒或按分钟计费与现货配合良好，因为你只需为实际运行的时间付费，而不是向上取整。

许多团队采用的实用模式是混合配置：将大部分面向吞吐量且可检查点的工作放在现货上以获取折扣，同时保留少量按需实例用于任何对延迟敏感或有状态的任务。这样的组合既能捕获大部分节省，又不会暴露那些真正不能容忍中断的流水线部分。

常见问题解答

当现货GPU实例被收回时，我会丢失工作吗？

你会丢失仅存在于实例上的任何状态——包括未保存的进度和本地磁盘上的任何内容。你不会丢失已经写入持久或网络存储的工作。这就是为什么频繁将检查点保存到持久存储是安全使用现货容量的核心原则；有了良好的检查点机制，你最多只会丢失自上次保存以来的几分钟工作。

现货实例的GPU硬件和按需实例有区别吗？

没有。现货和按需实例使用相同的物理硬件，因此GPU、显存、张量核心和互联完全相同。唯一的区别是可用性和价格的合同条款：现货更便宜但可被中断，按需更贵且不会被强制收回。你支付的是保证连续性的费用，而不是更快的芯片。

现货实例相比按需实例能节省多少？

折扣通常很大，是选择中断式容量的主要原因，但具体数字因提供商、GPU型号、地区和当前需求而异，并且不断变化。不要依赖单一数字，请查看上方的实时比较，了解你想要的特定GPU的现货与按需价格差异。

哪些工作负载绝不应运行在现货实例上？

避免将现货用于无法承受突然消失的任务：生产应用背后的实时低延迟推理、持有未保存工作的交互式会话，以及无法在丢失节点时恢复的紧耦合多GPU作业。对于这些，按需的溢价是值得的。所有能干净检查点并容忍重启的任务——训练、微调、批量推理、渲染和超参数搜索——都非常适合现货。