NVIDIA Dynamo Snapshot 发布：基于 CRIU 的 Kubernetes AI 推理快速启动系统

一句话看懂

NVIDIA 发布 Dynamo Snapshot，通过 CRIU 和 cuda-checkpoint 将 vLLM 推理工作负载的冷启动时间从几分钟压缩到秒级，解决弹性扩缩时的 GPU 闲置和 SLA 风险。

详细发生了什么

在 AI 推理的生产部署中，流量波动要求推理副本弹性伸缩，但 Kubernetes 上的冷启动（cold start）通常需要几分钟：拉取容器镜像、加载模型权重到 GPU 内存、预热 CUDA kernel、编译 CUDA graph、注册服务发现层。这段时间 GPU 被分配但空闲，不产生任何 token，也无法响应请求。

NVIDIA 的 AI 研究团队推出了 Dynamo Snapshot，采用 checkpoint/restore 方法解决这一问题。其核心是结合两个工具：

cuda-checkpoint：利用 CUDA 驱动能力，将 GPU 侧的设备状态（CUDA contexts、streams、设备内存、虚拟地址映射）序列化到 CPU 内存。
CRIU (Checkpoint/Restore in Userspace)：将 CPU 侧的主机状态（CPU 内存、线程、文件描述符、命名空间）序列化到磁盘。

在 Kubernetes 上，NVIDIA 提供特权 DaemonSet snapshot-agent（通过 Helm chart 安装），在每个节点上独立处理 checkpoint 和 restore。关键设计是 quiesce/resume hooks：推理 worker 在引擎初始化完成后、分布式运行时启动前写入“ready for checkpoint”信号文件，然后进入轮询等待；agent 在外部 checkpoint 后，worker 恢复时直接从轮询处继续，无需额外同步。

Dynamo Snapshot 还包含两项重要优化：

KV Cache 释放：利用 CUDA 虚拟内存管理 API，在 checkpoint 前释放 KV cache 的物理内存但保留虚拟地址，将 Qwen3-0.6B 在 B200 上的 artifact 大小从 ~190 GiB 降至 ~6 GiB。
CRIU 恢复加速（尚未正式发布）：通过并行 memfd 恢复和使用 Linux native AIO 加快匿名内存恢复，解决大模型恢复时间超过冷启动时间的问题。

中文圈视角

Dynamo Snapshot 对中文 AI 开发者意味着什么？

1. 国内用户能用吗？ 该方案依赖 NVIDIA GPU 和 CUDA 生态，国内云厂商（阿里云、腾讯云、华为云）的 Kubernetes 集群如果搭载 NVIDIA GPU（如 A100、H100、B200），理论上可直接部署。但需注意：CRIU 需要 Linux 内核支持，且 snapshot-agent 需要特权模式，部分合规严格的集群可能需要额外配置。

2. 国产替代方案对比： 国内类似场景（如 ModelScope 上的推理服务、百度 Paddle Inference、华为 MindSpore Serving）目前缺乏成熟的 checkpoint/restore 方案。主流做法仍是冷启动或预置 warm pool，资源浪费严重。Dynamo Snapshot 的思路值得国产框架借鉴：利用 CUDA 虚拟内存管理释放 KV cache 的技巧，在国产 GPU（如昇腾、寒武纪）上若能实现类似底层 API，也可大幅降低启动延迟。

3. 对中文用户的具体场景影响： 对于部署大语言模型（如 Qwen、DeepSeek、Yi 系列）的团队，Dynamo Snapshot 能显著降低弹性伸缩的响应时间，尤其适合需要应对突发流量的对话、客服、代码生成等场景。但需注意，当前版本仅支持单 GPU 单节点，多 GPU 和多节点 checkpoint 计划在未来发布，大规模部署仍需等待。

4. 中文圈尚未讨论的盲点： 该方案 checkpoint 的 artifact 存储在共享存储（NFS/SMB），恢复时需从存储拉取，网络带宽可能成为新瓶颈。对于国内跨地域部署的集群，建议评估存储延迟对恢复时间的影响。

几条值得记住的细节

Dynamo Snapshot 基于 CRIU 和 cuda-checkpoint，在 Kubernetes 上通过 DaemonSet 实现，无需修改 runc。
通过 quiesce/resume hooks 避免 checkpoint 活跃 TCP 连接，worker 恢复后直接进入分布式运行时初始化。
KV Cache 释放优化将 Qwen3-0.6B 的 artifact 从 ~190 GiB 降至 ~6 GiB，主要收益来自小模型大 KV cache 场景。
CRIU 并行 memfd 恢复和 Linux native AIO 优化尚未正式发布，但可显著缩短大模型恢复时间。
当前版本仅支持单 GPU 单节点，多 GPU 和多节点支持计划未来推出。

一句话总结

Dynamo Snapshot 让 AI 推理弹性伸缩不再被冷启动拖累，中文开发者应关注其技术思路并评估在国产 GPU 上的可行性。