Google DeepMind 发布 DiffusionGemma：文本扩散模型推理最高提速 4 倍

2026年6月10日

|

我们最新的开放实验模型在专用GPU上实现高达4倍的推理速度提升，为探索速度关键的交互式本地工作流打开了大门。

Brendan O'Donoghue

研究科学家

Sebastian Flennerhag

研究科学家

今天，我们推出DiffusionGemma，一个探索文本扩散的实验性开放模型，这是一种极其快速的文本生成方法。该模型以Apache 2.0许可证发布，是一个26B混合专家（MoE）模型，超越了典型自回归大语言模型（LLM）逐token顺序处理的方式。相反，它同时生成整个文本块，在GPU上实现高达4倍的文本生成速度提升。

DiffusionGemma基于我们Gemma 4系列业界领先的每参数智能水平和前沿的Gemini Diffusion研究构建，集成了一个旨在最大化生成速度的新型扩散头。虽然自回归Gemma 4模型仍是高质量生产输出的标准，但DiffusionGemma专为探索速度关键的交互式本地工作流的研究人员和开发者设计，例如行内编辑、快速迭代和生成非线性文本结构。

为开发者解锁新价值

构建实时交互式AI应用的开发者常常受困于本地推理的延迟瓶颈。DiffusionGemma直接应对这些挑战，并做出了一些关键权衡：

• 极速推理：通过将解码瓶颈从内存带宽转移到计算，DiffusionGemma在专用GPU上实现高达4倍的token输出速度。（单张NVIDIA H100上每秒1000+ token，NVIDIA GeForce RTX 5090上每秒700+ token）。 ¹
• 可及的硬件占用：作为一款26B总参数的混合专家（MoE）模型，推理时仅激活3.8B参数，量化后DiffusionGemma可轻松适配高端专用消费级GPU的18GB显存限制。
• 双向注意力：每次前向传播并行生成256个token，使每个token都能关注所有其他token。这为非线性领域带来了显著优势，例如行内编辑、代码填充、氨基酸序列或数学图。
• 智能自我纠错：该模型迭代优化自身输出，使其能够一次性评估整个文本块以实时修正错误。
• 实验性状态与生产建议：由于它优先考虑速度和并行布局生成，DiffusionGemma的整体输出质量低于标准Gemma 4。对于要求最高质量的应用，我们建议部署标准Gemma 4。

你可以通过微调来提升DiffusionGemma在特定任务上的性能。在下面的示例中，Unsloth微调了DiffusionGemma来玩数独——这是一项自回归模型难以应对的任务，因为每个token都依赖于未来的token。DiffusionGemma的双向注意力使这变得容易得多。

微调后的DiffusionGemma求解数独。

为什么将扩散用于文本？

尽管AI研究界多年来一直在探索基于扩散的文本生成，但将其应用于大型模型仍是一项挑战。DiffusionGemma通过改变模型使用硬件的方式改变了这一点。

与传统模型的权衡

大多数语言模型就像打字机一样，从左到右一次生成一个 token。在云端，这种方式很高效，因为服务器可以将数千个用户请求批量处理，共同分担硬件负载。但在本地为单个用户运行时，这种逐词处理的方式会让您专用的 GPU 或 TPU 得不到充分利用——它大部分时间都只是在等待下一次“按键”。

DiffusionGemma 扭转了这种低效。它不再按顺序预测单词，而是同时起草一整段 256 个 token 的段落。通过一次性给计算机处理器分配更大块的工作，DiffusionGemma 让您的硬件发挥出全部潜力。它将您的模型推理从一台单一、顺序的打字机升级为一台巨大的印刷机，同时印出整块文本。

Hugging Face 的 DiffusionGemma 文本转 3D SVG 演示。逐步生成。

这意味着 DiffusionGemma 的加速是为本地和低并发推理而设计的。在高 QPS 的云端服务中，自回归模型可以部署以高效地充分利用算力，因此 DiffusionGemma 的并行解码带来的是递减的收益，并可能导致更高的服务成本。其吞吐量优势在单加速器上中小批量规模时最为明显。

文本扩散的工作原理

类似于 AI 图像生成器从视觉噪点开始，逐步将其细化为清晰的图像，DiffusionGemma 将这一过程应用于文本：

1. 画布：模型从一块由随机占位 token 组成的画布开始。
2. 迭代细化：模型进行多轮处理，锁定正确的 token，并将它们作为上下文线索来细化其余部分。
3. 最终打磨：文本收敛为高质量的输出。

由于模型在生成时可以处理整个段落，它解锁了新的模型行为模式，例如完美地闭合复杂的 markdown 格式，或近乎实时地生成并渲染代码。

立即开始

• 下载权重：现在即可在 Hugging Face 上获取这个实验性模型权重（以宽松的 Apache 2.0 许可证发布）。
• 集成与学习：在我们的DiffusionGemma 开发者指南中了解更多。或深入了解DiffusionGemma 可视化指南，理解其底层机制。
• 使用您喜爱的开发工具：使用 MLX、vLLM（集成由 Red Hat 支持）和 Hugging Face Transformers 高效地部署模型。为了便于快速实验，我们发布了一份使用 Hackable Diffusion（一个为可组合性设计的模块化 JAX 工具箱）的微调教程。您还可以探索使用 Unsloth 和 NVIDIA NeMo 进行微调。此外，对 llama.cpp 的官方支持即将推出。
• 体验优化后的性能：我们与 NVIDIA 合作，在其整个硬件栈上进行了优化，确保兼容消费级配置（针对 GeForce RTX 5090 和 4090 GPU 量化），同时在企业级系统上保持高性能（在 Hopper 和 Blackwell 上使用先进的 NVFP4 内核），包括用于本地桌边部署的 NVIDIA DGX Spark 和 DGX Station，以及面向 AI 专业人士的 RTX PRO。对 NVFP4（4 位浮点）的原生支持加速了计算吞吐量，使模型能够以更快的速度运行，且精度几乎无损。
• 试试你的方式：在桌面专用 GPU 上运行，或通过 Gemini Enterprise Agent Platform Model Garden 或 NVIDIA NIM 在云端运行。