DiffusionGemma 在 NVIDIA 上运行：为开发者提供高吞吐文本生成新方案

一句话看懂

DiffusionGemma 是 Google DeepMind 推出的新型文本生成模型，在 NVIDIA GPU 上实现高吞吐量，显著提升实时 AI 应用的响应速度和成本效率。

详细发生了什么

Google DeepMind 与 NVIDIA 合作，将 DiffusionGemma 模型优化至 NVIDIA 平台，旨在解决传统自回归模型逐 token 生成的瓶颈。DiffusionGemma 采用扩散（diffusion）机制，一次性生成整个序列，而非逐个 token 预测，从而大幅提升吞吐量。在 NVIDIA H100 GPU 上，该模型可实现比同等规模自回归模型高 3-5 倍的生成速度，同时保持文本质量。

该模型专为实时 AI 场景设计，如聊天助手、编程 copilot 和 agentic workflows。开发者可通过 NVIDIA NIM 微服务或 TensorRT-LLM 轻松部署，支持标准 API 接口。目前 DiffusionGemma 提供 2B 和 7B 两种参数规模，上下文窗口为 8K tokens，适用于多种文本生成任务。

中文圈视角

对中文开发者而言，DiffusionGemma 的发布带来几个值得关注的要点：

部署门槛：模型需在 NVIDIA GPU 上运行，国内用户可通过云服务（如阿里云、腾讯云的 NVIDIA 实例）或本地 A100/H100 部署。无需额外梯子，但需注意模型权重从 Hugging Face 下载可能受限，建议使用 ModelScope 国内镜像。
与国产模型对比：相比 DeepSeek、Kimi 等自回归模型，DiffusionGemma 在吞吐量上有明显优势，尤其适合高并发场景（如客服系统）。但中文能力可能不如专门优化的国产模型，需结合 fine-tuning 或 RAG 提升效果。
应用场景：对于需要低延迟的实时应用（如语音助手、实时翻译），DiffusionGemma 的非自回归架构能减少用户等待时间。国内开发者可将其集成到现有工作流中，替代部分自回归模型，降低推理成本。
监管合规：模型由 Google 开发，部署时需注意数据安全。若涉及敏感数据，建议使用本地部署版本，避免数据出境风险。

几条值得记住的细节

DiffusionGemma 提供 2B 和 7B 两种参数规模，上下文窗口为 8K tokens。
在 NVIDIA H100 上，吞吐量可达自回归模型的 3-5 倍，延迟降低 50% 以上。
支持通过 NVIDIA NIM 微服务和 TensorRT-LLM 部署，兼容 OpenAI API 格式。
模型权重以 Apache 2.0 许可证发布，可免费用于商业和研究。
当前仅支持英文，中文支持需通过 fine-tuning 或 prompt 工程实现。

一句话总结

DiffusionGemma 为实时文本生成带来速度革命，中文开发者可借助 NVIDIA 生态低成本部署，但需注意中文适配和数据合规。