支持 Docker 和自定义镜像的云 GPU 提供商

当你租用GPU时，“Docker支持”实际上意味着什么

当云GPU提供商宣传支持Docker时，这意味着你可以在容器镜像内运行你的工作负载，而不必依赖主机所搭载的操作系统、驱动程序堆栈和库。实际上，这正是使GPU实例可复现的原因：你不必SSH进入一台新机器，花一个小时手动安装CUDA、cuDNN、PyTorch和十几个Python包，而是直接指向一个已经包含你所需确切版本的镜像，每次启动都进入一个已知良好的环境。

GPU有一个重要的细节需要注意。容器并不虚拟化GPU本身——主机仍然拥有NVIDIA驱动程序，并通过NVIDIA容器工具包将硬件暴露给容器。这意味着镜像包含了CUDA运行时、cuDNN和你的框架，而主机则包含了内核驱动程序。两者只需兼容，而非完全相同，因为CUDA在一定范围内提供前向兼容性。这就是为什么一个构建良好的镜像可以在上述许多不同主机上不加修改地运行，即使这些主机是在不同时间以略有不同的驱动版本配置的。

上述比较中的提供商通过几种不同的方式暴露这一能力，而这些差异很重要：

• 自带镜像：你提供一个注册表URL（公共或私有镜像），平台拉取并以此作为实例的根环境启动。
• 运行在基础镜像内：你获得一个已经运行在供应商维护的CUDA容器内的SSH或Jupyter会话，然后在此基础上叠加你的代码。
• 完整的root Docker守护进程：你获得实例上真正的docker（或无root等效方案）访问权限，可以自己构建、拉取和运行多个容器。

容器对真实GPU工作负载的重要性

可复现性是主要好处，但Docker支持在租用硬件的日常经济性上带来了几个具体变化。

• 快速且可预测的启动：在抢占式或可中断容量中，实例可能消失，你需要在别处重新启动。预构建的镜像让你几分钟内恢复到可用的训练环境，而不是重新搭建整个环境，这直接减少了浪费的计费时间。
• 版本锁定：AI堆栈对CUDA、框架和自定义内核（如FlashAttention或bitsandbytes）之间的不匹配极为敏感。将确切版本烘焙进镜像，消除了在不同主机间迁移时“在我机器上能运行”的失败。
• 跨提供商的可移植性：同一个镜像可以在上述列表中当天最便宜或有库存的任何主机上运行，因此你不会被锁定在某个供应商预装的软件环境中。
• 隔离性：在共享基础操作系统上可能冲突的依赖可以在不同镜像中干净共存，这在一个节点服务多个模型或实验时非常有用。

最受益的工作流是迭代训练和微调运行、在真实GPU上测试模型代码的CI流水线，以及你打算部署的推理服务——因为你测试的容器和部署的容器是逐字节相同的。对于笔记本中的一次性交互实验，优势较小，因为供应商的基础镜像已经覆盖了常见情况。

需要注意的权衡

容器在租用GPU上并非没有摩擦。大型镜像——多GB的CUDA基础镜像加上模型权重——首次启动时拉取需要时间，且你在下载时需支付实例费用。缓存层、使用更精简的运行时基础镜像而非完整开发镜像，以及将权重存储在挂载卷而非镜像内，都有助于加快速度。还有一种真实的失败模式是：用较新CUDA工具包构建的镜像拒绝在驱动较旧的主机上运行；在长时间运行前检查驱动和CUDA的匹配可以避免一小时后意外崩溃。

租用前需要检查的方面

两个实例都可能声称支持Docker，但行为却大相径庭。阅读上述比较时，别只看简单的“支持”，还要核实具体细节：

• 自定义镜像 vs 仅基础镜像：你能否从自己的注册表推送任意镜像，还是只能使用提供商策划的基础镜像？自定义镜像支持更灵活、更具可移植性。
• root权限 vs 无root Docker：你是否真正获得了用于构建和运行容器的docker守护进程，还是仅仅获得了一个容器化的环境？在实例上构建镜像需要前者。
• 私有注册表认证：你是否可以使用凭据从私有注册表拉取镜像，这对专有代码和权重很重要？
• GPU直通标志：确认平台是否连接了NVIDIA容器工具包，使容器能看到GPU；否则容器内的nvidia-smi会失败。
• 主机上的驱动和CUDA版本：检查已安装的驱动，以便选择兼容的CUDA基础镜像，避免版本不匹配导致失败。
• 持久卷：确认你可以挂载存储用于数据集、检查点和镜像缓存，这些数据能在重启后保留，避免每次中断后重新拉取。
• 多容器和Compose：如果你的工作负载需要模型服务器加数据库或向量存储，确认是否可以运行多个容器，而不仅仅是一个。

合理使用时，Docker支持能将租用的GPU从一个手工配置的“宠物”变成一个可丢弃、可复现的运行时——这正是当容量可中断且按秒计费时你想要的。

常见问题解答

Docker支持是否意味着我获得了对Docker守护进程的完全root访问权限？

不一定。有些平台只是让你的会话运行在预配置的CUDA容器内，而有些则真正给予你对docker守护进程的root访问权限，让你可以自己构建和运行容器。如果你需要在实例上构建镜像或运行多个容器，确认列表中提供的是完整守护进程访问权限，而不仅仅是容器化的基础环境。

我需要把GPU驱动放进我的Docker镜像里吗？

不需要。主机拥有内核级的NVIDIA驱动，GPU通过NVIDIA容器工具包暴露给容器。你的镜像应包含CUDA运行时、cuDNN和你的框架，但不包含驱动。你只需确保镜像中的CUDA版本与主机驱动兼容，这也是为什么在长时间运行前检查主机驱动版本很有必要。

我的自定义镜像会在新的GPU实例上立即启动吗？

首次启动需要拉取镜像，多GB的CUDA镜像下载需要时间——这段时间你需要付费。之后，缓存层会让后续启动快得多。保持镜像精简，使用运行时基础镜像而非完整开发镜像，以及将大型模型权重挂载自持久存储而非烘焙进镜像，都能缩短启动时间。

我可以在上述不同提供商之间运行同一个镜像吗？

一般可以，这种可移植性是容器化的主要原因之一。只要驱动兼容，正确构建的镜像可以不变地运行在任何地方，因此你可以在提供商之间追逐最便宜的可用容量，而无需重建环境。主要的注意点是CUDA与驱动的兼容性，所以要核实每个主机的驱动是否支持你镜像的CUDA版本。