从 DeepSeek V3 到 V3.2：架构、稀疏注意力与强化学习更新

最后更新：2026 年 1 月 1 日

与 DeepSeek V3 类似，团队在美国的一个重要节假日周末发布了他们的新旗舰模型。鉴于 DeepSeek V3.2 的出色表现（在 GPT-5 和 Gemini 3.0 Pro 级别），并且它还可以作为开放权重模型使用，它绝对值得仔细研究。

我在 The Big LLM Architecture Comparison 文章的开头介绍过其前身 DeepSeek V3，随着新架构的发布，我在几个月内不断扩展该文章。最初，当我刚与家人度过感恩节假期回来时，我计划“只是”通过添加另一个部分来扩展文章以涵盖这个新的 DeepSeek V3.2 版本，但后来我意识到有太多有趣的信息需要涵盖，所以我决定将其做成一篇更长的独立文章。

有很多有趣的内容需要涵盖，也有很多可以从他们的技术报告中学到的东西，那么让我们开始吧！

1. DeepSeek 发布时间线

虽然 DeepSeek V3 在 2024 年 12 月发布时并未立即流行，但 DeepSeek R1 推理模型（基于相同的架构，使用 DeepSeek V3 作为基础模型）帮助 DeepSeek 成为最受欢迎的开放权重模型之一，并成为 OpenAI、Google、xAI 和 Anthropic 等专有模型的合法替代品。

那么，自 V3/R1 以来有什么新变化？我相信 DeepSeek 团队今年一直非常忙碌。然而，自 DeepSeek R1 以来的过去 10-11 个月里，并没有重大发布。

就我个人而言，我认为大约 1 年发布一次重大 LLM 是合理的，因为工作量非常大。然而，我在各种社交媒体平台上看到人们在宣称该团队“已死”（昙花一现）。

我相信 DeepSeek 团队也一直忙于应对从 NVIDIA 芯片切换到华为芯片的过程。顺便说一下，我与他们没有关联，也没有与他们交谈过；这里的一切都基于公开信息。据我所知，他们已经恢复使用 NVIDIA 芯片。

最后，也不是说他们什么都没有发布。今年有一些较小的发布陆续推出，例如 DeepSeek V3.1 和 V3.2-Exp。

正如我在 9 月预测的那样，DeepSeek V3.2-Exp 的发布旨在让生态系统和推理基础设施准备好托管刚刚发布的 V3.2 模型。

V3.2-Exp 和 V3.2 使用了一种非标准的稀疏注意力变体，需要自定义代码，但稍后会详细介绍这一机制。（我曾想在上一篇 Beyond Standard LLMs 文章中介绍它，但当时 Kimi Linear 发布了，我在这篇关于新注意力变体的文章部分中优先介绍了它。）

2. 混合推理模型与专用推理模型

在进一步讨论模型细节之前，可能值得先讨论一下整体模型类型。最初，DeepSeek V3 是作为基础模型发布的，而 DeepSeek R1 增加了额外的后训练，以开发一个专用的推理模型。这一过程总结在下图中。

你可以在我的 Understanding Reasoning LLMs 文章中阅读更多关于上图中训练流程的内容。

这里值得指出的是，DeepSeek V3 是一个基础模型，而 DeepSeek R1 是一个专用的推理模型。

与 DeepSeek 并行，其他团队也发布了许多非常强大的开放权重推理模型。今年最强大的开放权重模型之一是 Qwen3。最初，它是以混合推理模型的形式发布的，这意味着用户可以在同一个模型中切换推理模式和非推理模式。（在 Qwen3 的情况下，这种切换是通过分词器添加/省略 <think></think> 标签来实现的。）

此后，LLM 团队陆续发布了（在某些情况下还在两者之间来回切换）专用推理模型和 Instruct/Reasoning 混合模型，如下图所示的时间线。

例如，Qwen3 最初是一个混合模型，但 Qwen 团队后来发布了独立的 instruct 和 reasoning 模型，因为它们更易于开发，并且在各自的用例中表现更好。

一些模型，如 OpenAI 的 gpt-oss，只提供混合版本，用户可以通过系统提示词选择推理力度（我怀疑 GPT-5 和 GPT-5.1 中的处理方式类似）。

而在 DeepSeek 的情况下，他们似乎朝着相反的方向，从专用推理模型（R1）转向混合模型（V3.1 和 V3.2）。然而，我怀疑 R1 主要是一个研究项目，用于开发推理方法和当时最好的推理模型。V3.2 的发布可能更多是关于为不同用例开发最佳的整体模型。（在这里，R1 更像是一个测试平台或原型模型。）

我还怀疑，尽管 DeepSeek 团队开发了具有推理能力的 V3.1 和 V3.2，他们可能仍在开发专用的 R2 模型。

3. 从 DeepSeek V3 到 V3.1

在更详细地讨论新的 DeepSeek V3.2 发布之前，我认为先概述从 V3 到 V3.1 的主要变化会有所帮助。

3.1 DeepSeek V3 概述与多头潜在注意力（MLA）

我已经在其他几篇文章中详细讨论了 DeepSeek V3 和 R1。总结要点，DeepSeek V3 是一个基础模型，使用了两个值得注意的架构方面：混合专家（MoE）和多头潜在注意力（MLA）。

我想你现在可能已经非常熟悉 MoE 了，所以我在这里跳过介绍。然而，如果你想阅读更多内容，我推荐我 The Big Architecture Comparison 文章中的简短概述以获取更多背景信息。

另一个值得注意的亮点是 MLA 的使用。MLA 用于 DeepSeek V2、V3 和 R1，提供了一种节省内存的策略，与 KV 缓存特别契合。MLA 的思路是在将键和值张量存储到 KV 缓存之前，将其压缩到较低维度的空间。

在推理时，这些压缩后的张量在被使用之前会被投影回原始大小，如下图所示。这增加了一次额外的矩阵乘法，但减少了内存使用。

（顺便提一下，查询也会被压缩，但仅在训练期间，而不是推理时。）

上图展示了 MLA 的核心思想：键和值首先被投影到一个潜在向量中，然后可以将其存储在 KV 缓存中以降低内存需求。这需要后续再向上投影回原始的键值空间，但总体上提升了效率（打个比方，你可以将其类比为 LoRA 中的降投影和升投影）。

请注意，查询同样被投影到一个单独的压缩空间中，与键和值所示类似。不过，为简单起见，我在上图中省略了它。

顺便提一下，如前所述，MLA 在 DeepSeek V3 中并非新事物，其 前代 DeepSeek V2 也使用了（甚至引入了）它。

3.2 DeepSeek R1 概述与可验证奖励强化学习（RLVR）

DeepSeek R1 使用与上述 DeepSeek V3 相同的架构，区别在于训练配方。也就是说，以 DeepSeek V3 作为基础模型，DeepSeek R1 侧重于可验证奖励强化学习（RLVR）方法来提升模型的推理能力。

RLVR 的核心思想是让模型从可以通过符号或程序方式验证的响应中学习，例如数学和代码（当然，这也可以扩展到这两个领域之外）。

GRPO 算法，全称为组相对策略优化（Group Relative Policy Optimization），本质上是近端策略优化（PPO）算法的一个更简单的变体。PPO 在基于人类反馈的强化学习（RLHF）中很流行，而 RLHF 用于 LLM 对齐。

如果你对更多信息感兴趣，我在 The State of Reinforcement Learning for LLM Reasoning 中更详细地介绍了使用 GRPO 算法的 RLVR 训练（包括其背后的数学原理）。

3.3 DeepSeek R1-0528 版本升级

正如 DeepSeek 团队自己所说，DeepSeek R1-0528 基本上是一次“小版本升级”。

架构与 DeepSeek V3/R1 保持一致，改进主要在训练方面，使其达到当时 OpenAI o3 和 Gemini 2.5 Pro 的水平。

遗憾的是，DeepSeek 团队没有发布任何具体信息描述这是如何实现的；不过，他们表示这在一定程度上来自其后期训练流程的优化。此外，根据已分享的信息，我认为托管版本的模型很可能在推理时使用了更多的计算资源（更长的推理时间）。

3.4 DeepSeek V3.1 混合推理

DeepSeek V3.1 是一个混合模型，同时具备通用聊天（指令）和推理能力。也就是说，不再是开发两个独立的模型，现在只有一个模型，用户可以通过聊天提示模板切换模式（类似于最初的 Qwen3 模型）。

DeepSeek V3.1 基于 DeepSeek V3.1-Base，后者又基于 DeepSeek V3。它们都共享相同的架构。

4. DeepSeek V3.2-Exp 与稀疏注意力

DeepSeek V3.2-Exp（2025 年 9 月）是事情变得更有意思的地方。

最初，DeepSeek V3.2-Exp 并没有在基准测试中名列前茅，这也是为什么该模型发布时并没有引起太多兴奋。然而，正如我在 9 月所推测的那样，这很可能是一次早期的实验性发布，目的是为更大规模的发布准备好基础设施（尤其是推理和部署工具），因为 DeepSeek V3.2-Exp 中有一些架构上的变化。更大的发布是 DeepSeek V3.2（不是 V4），这个后面再说。

那么，DeepSeek V3.2-Exp 有什么新东西？首先，DeepSeek V3.2-Exp 是以 DeepSeek V3.1-Terminus 作为基础模型训练的。什么是 DeepSeek V3.1-Terminus？它只是对上一节提到的 DeepSeek V3.1 检查点的一个小改进。

技术报告指出：

DeepSeek-V3.2-Exp，一个实验性的稀疏注意力模型，它通过持续训练为
DeepSeek-V3.1-Terminus 配备了 DeepSeek 稀疏注意力（DSA）。借助 DSA，一种由 lightning indexer 驱动的细粒度稀疏注意力机制，DeepSeek-V3.2-Exp 在训练和推理方面都实现了显著的效率提升，尤其是在长上下文场景中。

如上面这段话所述，这里的主要创新是 DeepSeek 稀疏注意力（DSA）机制，他们将其添加到 DeepSeek V3.1-Terminus 上，然后在该检查点上进行进一步训练。

这个 DSA 由 (1) 一个 lightning indexer 和 (2) 一个 token 选择器组成，目标是选择性地缩减上下文以提高效率。

为了解释它的工作原理，我们先从滑动窗口注意力说起。例如，滑动窗口注意力是一种将注意力窗口限制为固定大小的技术（最近被 Gemma 3 和 Olmo 3 使用），如下图所示。

DSA 基于与滑动窗口注意力相同的理念：只能关注过去 token 的一个子集。然而，DSA 不是通过固定宽度的滑动窗口来选择可以关注的 token，而是有一个 indexer 和一个 token 选择器来决定哪些过去的 token 可以被关注。换句话说，可以被关注的 token 更加随机，如下图所示。

然而，虽然我上面说了“随机”，但哪些过去 token 被选中的模式实际上并不是随机的，而是学习得到的。

在实践中，DSA 使用其所谓的 lightning indexer，基于所有先前的 token 为每个新的查询 token 计算相关性分数。对于这一计算，lightning indexer 使用 DeepSeek 的多头潜在注意力（MLA）中的压缩 token 表示，并计算该 token 与其他 token 的相似度。相似度分数基本上就是经过 ReLU 函数的查询向量和键向量之间的缩放点积。

如果你对数学细节感兴趣，下面展示了这个 lightning indexer 相似度分数的公式（取自论文）：

这里，w 是一个学习得到的逐头加权系数，它决定每个 indexer 头应对最终相似度分数贡献多少。q 指查询，k 指键向量。下面是各个下标的列表：

• t：当前查询 token 的位置；

• s：序列中前一个 token 的位置（0 ≤ s < t）；

• j：不同 indexer 头的索引（为简化起见，上面的图 10 只展示了一个头），因此 q_{t, j} 表示“当前 token t 在 indexer 头 j 中的查询向量”。

你可能会注意到，indexer 只作用于查询，而不作用于键。这是因为模型只需决定每个新查询应考虑哪些过去的 token。键已经被压缩并存储在 KV 缓存中，因此 indexer 无需在不同头之间再次对它们进行评分或压缩。

这里的 ReLU 函数，由于它是 f(x) = max(x, 0)，会将点积为负的位置置零，这在理论上可以实现稀疏性，但由于要在不同头之间求和，indexer 分数实际上不太可能为 0。稀疏性其实来自单独的 token 选择器。

单独的 token 选择器只保留少量高分 token（例如前 k 个位置），并构造一个稀疏注意力掩码，将未包含在所选子集中的其他 token 屏蔽掉。（top-k 中的 k 不要与上式中用于键的 k 混淆，它是一个超参数，在 DeepSeek 团队分享的 模型代码中被设为 2048。）

下图以流程图形式展示了整个过程。

总而言之，indexer 和 token 选择器使每个 token 只关注模型已学会认为最相关的一小部分过去 token，而不是所有 token 或固定的局部窗口。

这里的目标并不是提升相对于 DeepSeek V3.1-Terminus 的性能，而是在受益于效率提升的同时，减少（由于稀疏注意力机制导致的）性能下降。

总体而言，DSA 将注意力机制的计算复杂度从二次 O(𝐿²)（其中 L 是序列长度）降低到线性 O(𝐿𝑘)，其中 𝑘（≪𝐿）是所选 token 的数量。

5. 具备自我验证与自我改进的 DeepSeekMath V2

讨论完 DeepSeek V3.2-Exp 后，我们离本文的主题——DeepSeek V3.2——更近了。不过，我们还需要先讨论另一块拼图。

2025 年 11 月 27 日（美国的感恩节），也就是 DeepSeek V3.2 发布仅 4 天前，DeepSeek 团队发布了基于 DeepSeek V3.2-Exp-Base 的 DeepSeekMath V2。

该模型专为数学开发，并在多项数学竞赛中取得了金牌级成绩。本质上，我们可以将它视为 DeepSeek V3.2 的（概念）验证模型，并引入了另一项技术。

这里的关键在于，推理模型（如 DeepSeek R1 等）是使用外部验证器训练的，模型会自行学习在得出最终答案前写出解释。然而，这些解释可能是错误的。

正如 DeepSeek 团队对常规 RLVR 缺点的简洁表述：

[...] 正确的答案并不能保证正确的推理。

[...] 模型可能通过有缺陷的逻辑或侥幸的错误得出正确答案。

他们旨在解决的 DeepSeek R1 RLVR 方法的另一个局限是：

[…] 许多数学任务，如定理证明，需要严格的逐步推导，而不是数值答案，因此最终答案奖励并不适用。

因此，为了改进上述两个缺点，在本文中，他们训练了两个模型：

1. 一个基于 LLM 的定理证明验证器。

2. 主模型，即证明生成器，使用基于 LLM 的验证器作为奖励模型（而不是符号验证器）。

除了上述通过 LLM 进行的自验证外，他们还使用了自改进（在我即将出版的《从零构建推理模型》一书第 5 章中有所介绍），让 LLM 迭代改进自己的答案。

5.1 自验证

让 LLM 对中间步骤进行评分并不是新鲜事。有一整条关于所谓过程奖励模型的研究路线都聚焦于此。例子包括 用过程和结果反馈解决数学应用题（2022） 或 让我们逐步验证（2023），但还有更多。

过程奖励模型面临的挑战在于，检查中间奖励是否正确并不容易，而且还可能导致奖励攻击。

在 2025 年 1 月的 DeepSeek R1 论文中，他们没有使用过程奖励模型，因为他们发现：

在我们实验中的大规模强化学习过程里，与它引入的额外计算开销相比，其优势是有限的。

在本文中，他们以自验证的形式成功重新审视了这一点。其动机是，即使不存在参考解，人类在阅读证明并识别问题时也能够自我纠正。

因此，为了开发一个更好的数学证明写作模型（下图中 LLM 1），他们开发了下图中的证明验证器（LLM 2），它可以作为 LLM 作为评判者来为证明器（LLM 1）的输出打分。

验证器 LLM（LLM 2）接收一个评分标准来为生成的证明打分，分数为

• “1 表示完整且严谨的证明，所有逻辑步骤都得到清晰论证；”

• “0.5 表示整体逻辑合理但有小错误或遗漏细节的证明；”

• “0 表示存在致命逻辑错误或关键缺口的根本性缺陷证明。”

对于证明验证器模型，他们从 DeepSeek V3.2-Exp-SFT 开始，这是他们基于 DeepSeek V3.2-Exp 通过在推理数据（数学和代码）上进行监督微调而创建的模型。然后，他们使用格式奖励（检查解决方案是否符合预期格式）和基于预测分数与实际分数（由人类数学专家标注）接近程度的分数奖励，通过强化学习进一步训练该模型。

证明验证器（LLM 2）的目标是检查生成的证明（LLM 1），但谁来检查证明验证器呢？为了使证明验证器更稳健并防止其幻觉出问题，他们开发了第三个 LLM，即元验证器。

元验证器（LLM 3）也是通过强化学习开发的，类似于 LLM 2。虽然元验证器的使用并非必需，但 DeepSeek 团队报告称：

验证器证明分析的平均质量分数——由元验证器评估——从 0.85 提高到 0.96，同时在证明分数预测方面保持相同的准确率。

这其实是一个相当有趣的设置。如果你熟悉生成对抗网络（GAN），你可能会在这里看到类比。例如，证明验证器（可以将其视为 GAN 的判别器）改进了证明生成器，而证明生成器生成更好的证明，进一步推动证明验证器。

元分数用于验证器（LLM 2）和生成器（LLM 1）的训练过程中。它不会在推理时的自改进循环中使用，我们将在下一节讨论这一点。

5.2 自改进

在上一节中，我们讨论了自验证，即分析解决方案的质量。这样做的目的是实现自改进，这意味着 LLM 可以根据反馈采取行动并修改其答案。

传统上，在自改进中——这是一种成熟且流行的推理扩展技术——我们会使用同一个 LLM 来生成解决方案并验证它，然后再进行改进。换句话说，在前面的图 12 和图 13 中，LLM 1 和 LLM 2 将是同一个 LLM。因此，传统的自改进过程如下所示：

然而，DeepSeek 团队在实践中观察到，使用同一个 LLM 同时进行生成和验证存在一个关键问题：

当被提示一次性生成并分析自己的证明时，生成器倾向于声称其正确性，即使外部验证器很容易识别出缺陷。换句话说，虽然生成器可以根据外部反馈改进证明，但它无法像专门的验证器那样严格地评估自己的工作。

作为一个合乎逻辑的结果，人们会认为他们使用了单独的证明生成器（LLM 1）和证明验证器（LLM 2）。因此，这里使用的自改进循环变得类似于下图所示的情况。请注意，我们省略了 LLM 3，它仅在验证器（LLM 2）的开发过程中使用。

然而，在实践中，与图 15 不同，DeepSeek 团队使用了与图 14 中经典自改进循环相同的生成器和验证器 LLM：

“所有实验都使用了单个模型，即我们最终的证明生成器，它同时执行证明生成和验证。”

换句话说，单独的验证器对于训练至关重要，可以改进生成器，但一旦生成器足够强大，在后续推理中就不使用（/不需要）它了。与朴素单模型自改进的关键区别在于，最终的证明器是在更强的验证器和元验证器的指导下训练的，因此它已经学会了将这些规则应用于自己的输出。

此外，在推理过程中使用这种二合一的 DeepSeekMath V2 验证器在资源和成本方面也有好处，因为与运行第二个 LLM 进行证明验证相比，它增加的复杂性和计算需求更少。

回到图 14 和图 15 中展示的一般自改进概念，这两张图都展示了具有 2 次迭代的自改进（初始答案和一次改进后的答案）。当然，我们可以向这个过程添加更多迭代。这是一个经典的推理扩展权衡：我们添加的迭代越多，生成答案的成本就越高，但整体准确率也越高。

在论文中，DeepSeek 团队最多使用了 8 次迭代，而且看起来准确率尚未饱和。

6. DeepSeek V3.2（2025 年 12 月 1 日）

我们在上一节花了这么多时间讨论 DeepSeekMath V2 的原因是：a）它是一个非常有趣的概念验证，通过自我验证和自我精炼技术进一步推进了可验证奖励强化学习（RLVR）的理念；b）自我验证和自我精炼技术也被用于 DeepSeek V3.2。

但在进入这部分之前，让我们先对 DeepSeek V3.2 做一个总体概览。这个模型非常重要，因为它与当前的旗舰模型相比表现非常出色。

与其他几个 DeepSeek 模型类似，V3.2 附带了一份出色的技术报告，我将在接下来的章节中讨论。

6.1 DeepSeek V3.2 架构

这个模型的主要动机当然是提升整体模型性能。例如，与 DeepSeekMath V2 一样，它在数学基准上达到了金牌级表现。然而，该模型在训练时也考虑了工具使用，并且在其他任务上也表现良好，例如代码和智能体任务。

与此同时，DeepSeek 团队将计算效率作为一个重要的驱动因素。这就是为什么他们将 V2 和 V3 中的多头潜在注意力（MLA）机制与他们在 V3.2 中添加的 DeepSeek 稀疏注意力（DSA）机制结合使用。事实上，论文称“DeepSeek-V3.2 使用的架构与 DeepSeek-V3.2-Exp 完全相同”，我们已在前面章节讨论过这一点。

正如我之前提到的，DeepSeek V3.2-Exp 的发布很可能是为了让生态系统和推理基础设施准备好托管刚刚发布的 V3.2 模型。

有趣的是，如上方论文截图所示，DeepSeek 团队恢复使用 NVIDIA 芯片（此前据称他们曾尝试在华为芯片上进行模型训练）。

由于架构与 DeepSeek V3.2-Exp 相同，有趣的细节在于训练方法，我们将在接下来的章节中讨论。

6.2 强化学习更新

总体而言，DeepSeek 团队采用了可验证奖励强化学习（RLVR）流程，使用与 DeepSeek R1 类似的组相对策略优化（GRPO）算法。不过，有一些有趣的更新值得讨论。

最初，DeepSeek R1 使用了

• 格式奖励（确保答案格式正确）；

• 语言一致性奖励（使模型在撰写回答时不会在不同语言之间切换）；

• 以及主要的验证器奖励（数学或代码问题中的答案是否正确）

对于 DeepSeek V3.2，他们更改了奖励：

对于推理和智能体任务，我们采用基于规则的结果奖励、长度惩罚和语言一致性奖励。对于通用任务，我们采用生成式奖励模型，其中每个提示都有其自己的评估标准。

例如，他们移除了格式奖励，但为智能体任务添加了长度惩罚。然后，对于没有符号验证器（数学）或代码解释器来验证答案的通用任务，他们使用奖励模型（另一个经过训练以输出奖励分数的LLM）。

所以，听起来这个流程不再是像DeepSeek R1那样纯粹基于验证器的RLVR，而是RLVR（用于可验证领域）与更标准的LLM-as-a-judge奖励建模的混合，适用于其他所有情况。

对于数学领域，他们表示还“纳入了DeepSeekMath-V2的数据集和奖励方法”，我们在本文前面已经讨论过。

6.3 GRPO 更新

关于GRPO本身，即RLVR流程内部的学习算法，自DeepSeek R1论文中的原始版本以来，他们也做了一些改动。

在过去几个月里，已有数十篇论文提出了对GRPO的修改，以提升其稳定性和效率。今年早些时候，我在我的The State of Reinforcement Learning for LLM Reasoning文章中写过两个流行的改进方案，DAPO和Dr. GRPO。

不深入GRPO的数学细节，简而言之，DAPO通过非对称裁剪、动态采样、token级损失和显式的基于长度的奖励塑形来修改GRPO。Dr. GRPO则修改了GRPO目标本身，以去除长度和标准差归一化。

最近的Olmo 3论文也采用了类似的改动，我引用如下：

• 零梯度信号过滤：我们移除奖励完全相同的实例组（即优势标准差为零的批次），以避免在提供零梯度的样本上训练，类似于DAPO（Yu et al., 2025）。[DAPO]

• 主动采样：尽管有零梯度过滤，我们仍通过一种新颖且更高效的动态采样版本保持一致的批次大小（Yu et al., 2025）。详见OlmoRL Infra。[DAPO]

• Token级损失：我们使用token级损失，按批次中token总数来归一化损失（Yu et al., 2025），而不是按样本归一化，以避免长度偏差。[DAPO]

• 无KL损失：我们按照常见做法移除KL损失（GLM-4.5 Team et al., 2025; Yu et al., 2025; Liu et al., 2025b），因为它允许更少限制的策略更新，且移除它不会导致过度优化或训练不稳定。[DAPO和Dr. GRPO]

• 更高裁剪：我们将损失中的上界裁剪项设置为略高于下界的值，以便对token进行更大的更新，如Yu et al. (2025)所提出。[DAPO]

• 截断重要性采样：为了调整推理引擎和训练引擎对数概率之间的差异，我们按照Yao et al. (2025)的方法，将损失乘以截断重要性采样比率。

• 无标准差归一化：在计算优势时，我们不像 Liu et al. (2025b) 那样按组的标准差进行归一化。这消除了一种难度偏差：奖励标准差较低的问题（例如过难或过易）其优势会被归一化项显著放大。[Dr. GRPO]

DeepSeek V3.2 中的 GRPO 修改没有那么激进，我以类似 Olmo 3 的风格对其进行了总结：

• 领域特定的 KL 强度（数学领域包括零）：DAPO 和 Dr. GRPO 在数学类 RL 中总是丢弃 KL，而 DeepSeek V3.2 则在目标中保留 KL 项，但按领域调整其权重。不过，他们也指出，对于数学来说，非常弱甚至为零的 KL 通常效果最好。（但不是完全移除它，而是将其变成一个超参数。）

• 无偏 KL 估计：如上所述，DeepSeek V3.2 并没有移除 KL 惩罚。除了将其视为一个调节旋钮外，他们还提出了一种修复 GRPO 中 KL 惩罚估计方式的方法：用与主损失相同的重要性比率对 KL 项重新加权，这样 KL 梯度就能真正匹配样本来自旧策略而非当前策略这一事实。

• 离策略序列掩码：当他们跨多个梯度步骤复用 rollout 数据（rollout 只是模型生成的完整序列的行话）时，DeepSeek V3.2 会衡量当前策略在每个完整答案上与 rollout 策略的偏离程度，并直接丢弃那些既有负优势又“过于离策略”的序列。因此，这可以防止模型从过于离策略或过时的数据中学习。

• 为 MoE 模型保留路由：对于混合专家（Mixture-of-Experts）骨干网络，他们记录 rollout 期间激活了哪些专家，并在训练期间强制使用相同的路由模式，因此梯度更新只针对那些产生了采样答案的专家。

• 为 top-p / top-k 保留采样掩码：当 rollout 使用 top-p 或 top-k 采样时，DeepSeek V3.2 会存储选择掩码，并在计算 GRPO 损失和 KL 时重新应用它，从而使训练时的动作空间与采样时实际可用的动作空间相匹配。

• 保留原始 GRPO 优势归一化：Dr. GRPO 表明，GRPO 的长度和每组标准差归一化项会使优化偏向过长的错误答案，并过度加重非常容易或非常困难问题的权重。Dr. GRPO 通过移除这两项并回归无偏的 PPO 式目标来修复这一问题。相比之下，DAPO 转向了 token 级损失，这也改变了长答案与短答案的加权方式。然而，DeepSeek V3.2 保留了原始 GRPO 归一化，转而专注于上述其他修复。

因此，总体而言，DeepSeek V3.2 比近期其他一些模型更接近原始 GRPO 算法，但增加了一些逻辑上的调整。

6.4 DeepSeek V3.2-Speciale 与扩展思考

DeepSeek V3.2 还有一个极端、扩展思考的变体，名为 DeepSeek V3.2-Speciale，其在 RL 阶段仅使用推理数据进行训练（更类似于 DeepSeek R1）。除了仅使用推理数据训练外，他们还降低了 RL 期间的长度惩罚，允许模型输出更长的回复。

生成更长的回答是一种推理扩展形式，由于长度增加，回答成本更高，但能换来更好的结果。

7. 结论

在本文中，我没有涵盖 DeepSeek V3.2 训练方法的全部细节，但我希望与之前 DeepSeek 模型的对比能帮助阐明要点和创新之处。

简而言之，有趣的要点如下：

• DeepSeek V3.2 使用的架构与自 DeepSeek V3 以来的所有前代模型相似；

• 主要的架构调整是，他们加入了来自 DeepSeek V3.2-Exp 的稀疏注意力机制以提高效率；

• 为了提高数学性能，他们采用了 DeepSeekMath V2 中的自我验证方法；

• 训练流程有多项改进，例如 GRPO 稳定性更新（请注意，论文还深入讨论了蒸馏、长上下文训练、类似 gpt-oss 的工具使用集成等其他方面，本文未涉及）。

无论 DeepSeek 模型相对于其他更小的开放权重模型或 GPT-5.1、Gemini 3.0 Pro 等专有模型的市场份额如何，有一点是肯定的：DeepSeek 的发布总是很有趣，而且随开放权重模型检查点一同发布的技术报告总有大量值得学习的内容。

希望这篇概览对你有用！

8. DeepSeek 的 mHC：流形约束超连接

Transformer 架构中的效率与性能调整通常聚焦于归一化、注意力和 FFN 模块。
例如：

• 归一化：LayerNorm → RMSNorm → Dynamic TanH

• 注意力：分组查询注意力、滑动窗口、多头潜在注意力、稀疏注意力

• FFN：GeLU → SiLU、SiLU → SwiGLU、专家混合。
  

2025 年 12 月 31 日，DeepSeek 分享了关于改进残差路径的新研究：mHC：流形约束超连接。

简而言之，它建立在超连接（HC）方法之上，该方法通过多条并行残差流拓宽残差流，并允许信息在这些并行层之间混合，从而将常规（恒等）残差连接推广为可学习的连接。

随后他们进一步推进 HC 的思路，提出了 mHC，将残差混合约束在一个结构化、保持范数的流形上。他们发现这种“m”修改提高了训练稳定性。
这会带来少量额外开销，但他们获得了更好的训练稳定性和收敛性。

本杂志是一个个人兴趣项目，你的支持帮助它维持下去。

如果你想支持我的工作，请考虑我的书《从零构建大型语言模型》或其续作《从零构建推理模型》。（我相信你会从中获益良多；它们对 LLM 工作原理的深入讲解是别处找不到的。）

感谢阅读，也感谢你支持独立研究！

如果你读了这本书，并且能抽出几分钟时间，我将非常感谢你写一篇简短书评。这对我们作者帮助很大！

你的支持意义重大！谢谢！