Published on

DeepSeek-V4 技术报告速览

Authors
Table of Contents

概要

DeepSeek-V4 系列的预览版本包括两个混合专家（MoE）语言模型，两者都支持最长 100 万 token 的上下文长度：

  • DeepSeek-V4-Pro：总参数量 1.6 万亿（激活参数 490 亿）
  • DeepSeek-V4-Flash：总参数量 2840 亿（激活参数 130 亿）

DeepSeek-V4 系列在架构与优化方面进行了多项关键升级：

  1. 混合注意力架构：
    结合了压缩稀疏注意力（Compressed Sparse Attention, CSA）与重度压缩注意力（Heavily Compressed Attention, HCA），以提升长上下文场景下的效率。
  2. 流形约束超连接：
    Manifold-Constrained Hyper-Connections（mHC）对传统残差连接进行了增强。
  3. Muon 优化器：
    带来了更快的收敛速度以及更强的训练稳定性。

与此同时，DeepSeek-V4 系列在长上下文场景中具有极高效率。

在 100 万 token 上下文设置下，DeepSeek-V4-Pro 相比 DeepSeek-V3.2：

  • 单 token 推理 FLOPs 仅需其 27%
  • KV Cache 仅需其 10%

TIP

推理的成本可以分为两种，一种是单个 token 的成本，可以通过工程和 KV Cache 等方法降低；另一种是在模型训练的时候对思考长度进行惩罚，让模型用更少的 token 完成任务。

DeepSeek-V4 单个 token 的推理成本大幅下降，但是并没有减少推理的 token 个数。

即便如此，DeepSeek-V4 的推理成本也是降幅巨大。

模型架构

DeepSeek-V4 整体依然保留 DeepSeekMoE 的架构，搭配 Multi-Token Prediction (MTP) 模块。在此之上，引入了流形约束超连接（mHC）、压缩稀疏注意力（CSA）和重度压缩注意力（HCA），以及 Muon 优化器这几项关键升级。

流形约束超连接

resnet-hc-mhc.png

为了更好地理解 mHC，我们需要先回顾一下它的基础——残差网络 (Residual Connection/ResNet) 的核心机制。

ResNet 由微软研究院的何恺明等人在 2015 年提出，其核心创新是引入"残差连接"，有效解决了深层神经网络中的梯度消失和退化问题，它使得网络深度可以从几十层扩展到上百甚至上千层。残差函数（Residual Function）在 ResNet 中通常是卷积层，而在 Transformer（LLM）中，这通常代表 Attention 或 Feed Forward Network (FFN)。

残差网络的恒等映射 (Identity Mapping) 这一属性表明，深层特征 xLx_L 实际上是浅层特征 xlx_l 加上所有中间层变换的总和。这使得信息流（在前向传播中）和梯度流（在反向传播中）可以通过一条"高速公路"畅通无阻地传递。

以字节跳动 Seed 团队提出的 Hyper-Connections (HC) 为代表的研究，通过扩展残差流宽度和多样化连接模式，拓展了过去十年中广泛应用的残差连接范式。

HC (Hyper-Connections) 试图把那条简单的"高速公路"（xlx_l）变得更复杂、更宽（Hres⋅xlH_{res} \cdot x_l），所以引入了可学习的矩阵来混合特征。

但是 HC 破坏跨层的 identity mapping，导致信号/梯度爆炸或衰减，并带来显著 I/O 与通信开销，使大规模训练不稳定、不可扩展。

mHC 试图在保留 HC 带来的好处（更宽的通路、更复杂的连接）的同时，通过流形约束 (Manifold Constraints) 强行找回 ResNet 那种稳定的"恒等映射"属性。 mHC 的关键洞察在于将可学习的残差映射 Hres,lH_{res,l} 约束在伯克霍夫多面体——即双随机矩阵的流形——内。双随机矩阵满足两个关键特性：所有条目均为非负，并且所有行和列的和都为 1。

增加连接复杂度有什么好处？带来什么性能提升？

增加连接复杂度（即从标准 Residual Connection 转向 Hyper-Connections, HC）的核心动机在于突破"信息瓶颈"，通过拓宽"信息高速公路" (Latent Space Expansion) 和可学习的特征混合 (Learnable Feature Mixing)，让模型在不显著增加计算量（FLOPs）的前提下，拥有更强的特征表达和传递能力，显著增强了模型的推理能力。

混合注意力架构

DeepSeek-V4 放弃了 V3 中使用的 MLA（Multi-head Latent Attention），即多头潜在注意力，转而回到 MQA，MQA 是 Multi-Query Attention，即多头查询注意力。

V4 的做法是把注意力拆成两种机制，在层间交替使用。

DeepSeek-V4 采用的 CSA 是 "压缩稀疏注意力"，HCA 是 "重度压缩注意力"。 在 DeepSeek-V4 中，CSA 是先压缩序列、再做关键选择，能从长上下文中定位关键信息； HCA 是高度压缩大量 token 信息，保留压缩后的全局感知。 二者交替使用，能在大幅减少计算和显存开销时，既了解全局脉络（HCA）又能抓到关键细节（CSA）。

具体来讲，CSA 用 softmax-gated pooling 加上学习到的位置偏置，将每 4 个 token 的 KV 条目压缩为 1 个。这一步直接把序列长度缩短到原来的 1/4。最近的未压缩 token 通过一个滑动窗口分支保留局部细节，确保近距离依赖不丢失。

HCA 做了一个不同的 trade-off：

  • 更激进的压缩：HCA 的压缩组大小 m' = 128，即每 128 个 token 压缩成 1 个 KV 条目。百万 token 压缩后只剩约 7800 个条目。
  • 密集注意力：因为压缩后序列已经足够短，每个 query 对所有压缩 block 做 dense attention，不需要再做稀疏选择。
  • 同样保留滑动窗口分支处理局部上下文。

CSA 和 HCA 是解决同一个问题的两个不同设计点——CSA 做轻压缩但用稀疏选择减少计算量，HCA 做重压缩但保持密集注意力。

总参数越大、模型容量越高；激活参数越小、推理成本越低。MoE 的核心价值就是把这两个量解耦，而 V4 把这种解耦推到了目前业界最激进的位置。

模型架构类型总参数激活参数激活比
DeepSeek-V4-ProMoE1.6T49B3.06%
Kimi K2.6MoE1T32B3.20%
小米 Mimo-V2.5-ProMoE1.02T42B4.12%
MiniMax M2.7MoE230B10B4.35%
智谱 GLM-5.1MoE~744B~40B5.38%
DeepSeek V3MoE671B31B5.51%

资料来源：公开信息 晚点 LatePost 制图

赵晨阳：这一连串数，大家可能听起来像在雕花，但很反映工程能力，从 4% 降到 3%，比从 5% 降到 4% 要难得多。不是说其他团队做不到，而是大部分团队会选择稳扎稳打，DeepSeek 选择继续推到极限。

Muon 优化器

Muon 已成检验大模型团队工程能力的试金石。

V4 将主优化器从 AdamW 切换为 Muon，用于大部分参数。但 embedding 层、prediction head 和 RMSNorm 权重仍然使用 AdamW。

Muon 本身作为优化器算法并不是 DeepSeek 发明的。虽然过去每年都有大量新优化器被提出，但几乎没有在实践中取代 2014 年的 Adam，Muon 是少有的真正被大规模 LLM 训练采用的例外。

训练神经网络的本质是不断调整权重，让 loss 变小。优化器决定的是每一步往哪个方向走、走多远。

2014 年提出的 Adam 统治了深度学习优化近十年。它的核心思路是给每个参数独立地维护一个自适应学习率——梯度大的参数走慢点，梯度小的走快点。简单、稳健、通用，几乎所有 LLM 都用它（或它的变体 AdamW）训练。

Adam 的更新公式（简化版）：

mt=β1mt−1+(1−β1)gt(1)m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t \qquad (1) vt=β2vt−1+(1−β2)gt2(2)v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2 \qquad (2) θt=θt−1−ηmtvt+ε(3)\theta_t = \theta_{t-1} - \eta \frac{m_t}{\sqrt{v_t} + \varepsilon} \qquad (3)

公式（1）是一阶矩估计（梯度的指数移动平均）。gtg_t 是当前时间步的梯度，mt−1m_{t-1} 是上一步的移动平均，β1\beta_1 控制平滑程度（通常取 0.9）。作用是积累历史梯度方向，平滑掉单步噪声——如果连续多步梯度都指向同一个方向，mtm_t 会越来越大，形成"惯性"。

公式（2）是二阶矩估计（梯度平方的指数移动平均）。gt2g_t^2 是逐元素平方，β2\beta_2 通常取 0.999。vtv_t 追踪的是每个参数梯度的"历史波动幅度"——某个参数的梯度一直很大，vtv_t 就大；一直很小，vtv_t 就小。

公式（3）是参数更新规则。θ\theta 是模型参数，η\eta 是学习率，ε\varepsilon 是一个极小常数（通常 10−810^{-8}），防止除以零。关键在 mt/vtm_t / \sqrt{v_t} 这个比值：梯度大且稳定的参数，分子分母同比例大，更新幅度适中；梯度小但稳定的参数，也能得到合理的更新步长。

这就是 Adam 的"自适应学习率"——每个参数根据自己的梯度历史自动调节步幅。

AdamW 更新公式（简洁形式）：

θt=(1−ηλ)⋅θt−1⏟权重衰减项−η⋅mtvt+ε⏟梯度更新项\theta_t = \underbrace{(1 - \eta\lambda) \cdot \theta_{t-1}}_{\text{权重衰减项}} - \underbrace{\eta \cdot \frac{m_t}{\sqrt{v_t} + \varepsilon}}_{\text{梯度更新项}}

其中：

  • mt,vtm_t, v_t 的计算跟 Adam 完全一样，η\eta 也是表示学习率
  • λ\lambda 是权重衰减系数

与 Adam 的关键区别全在：(1−ηλ)⋅θt−1(1 - \eta \lambda) \cdot \theta_{t-1} 这一项。λ\lambda 是权重衰减系数，它直接按固定比例缩小当前权重，权重衰减项不经过 mt,vtm_t, v_t 的自适应机制。

Adam 是"把正则化信号和梯度信号混在一起再处理"，AdamW 是"梯度走梯度的路，衰减走衰减的路"。

Muon 的做法可以用一个比喻来理解。

想象你在调一台多旋钮的混音台。Adam 的方式是：看每个旋钮的历史变化幅度，单独决定每个旋钮转多少。问题是，旋钮之间是有耦合的——你调了低音旋钮，可能中频也跟着变了。Adam 不管这些，它只盯着单个旋钮。

Muon 的方式是：先把所有旋钮的调整方案看作一个整体，然后做一次"正交化"——确保每个调整方向之间互不干扰。调低音就是纯粹调低音，不会意外地影响中频。每个更新方向都在做"独立的、不冗余的工作"。

技术上，这个"正交化"对应的操作是矩阵极分解（Polar Decomposition）：对梯度矩阵 G，找到离它最近的正交矩阵 Q。正交矩阵的性质是所有奇异值都等于 1，这意味着更新在每个方向上的"力度"是均匀的，不会某个方向爆炸而另一个方向消失。

刘益枫：但由于模型结构、数据分布等差异，普通梯度下降不太适合大语言模型这类深度神经网络，所以后来出现了 Adam、AdamW 等带动量和预条件机制的优化器来帮助训练。

AdamW 本质上结合了动量和更新量归一化两类技术。动量可以让更新更平滑，归一化可以让每一步更新的 scale 更统一，从而稳定训练。但 AdamW 是元素级别的优化，也就是对每一个参数单独更新。

Muon 的核心区别在于，它是矩阵级别的优化。对于线性层这类二维参数，它本质上是矩阵乘法，Muon 会把整个矩阵作为整体进行归一化和优化，这能更好地利用矩阵中不同元素之间的联系，让矩阵内不同元素的优化步调更一致，进一步提升训练效率和推理能力。

image.png

工程基建

Infra 两个关键词：TileLang & FP 4。

V4 的架构非常复杂（CSA/HCA 混合注意力、mHC 残差连接、MoE routing 等），如果每个操作都手写 CUDA kernel，开发成本极高且难以维护。但用 PyTorch 原生写又跑不出极致性能。TileLang 是折中方案——它最初由北大杨智团队发起，过去一年半已经被多个前沿实验室采用为算法实现的默认选择之一。

DeepSeek 用 TileLang 为 mHC 写了专用 kernel，SGLang 团队也用 TileLang 写了 split-K 版本用于推理阶段的小批量解码。这说明 TileLang 正在成为 CUDA 生态中一个重要的中间层——不取代 CUDA，但大幅降低写高性能 kernel 的门槛。

传统做法是先用 FP16/FP8 训练完模型，再做 post-training quantization 压缩到低精度。问题是量化会引入精度损失，尤其对 MoE 这种稀疏激活的架构，expert 权重的量化误差影响更大。

V4 的做法是在训练阶段就引入 FP4 量化——MoE expert 权重和 CSA 中 Lightning Indexer 的 QK 通路都以 FP4 精度训练。好处是双重的：训练时模型就"学会了"在低精度下如何表现，消除了 post-training 量化的质量损失；同时训练本身的显存占用也降低了。FP4×FP8 的 GEMM 在下一代硬件上可以比纯 FP 8 再快约 1/3。

V4 的 infra 工作有一个清晰的主线：让复杂架构真正能跑起来。混合注意力、mHC、MoE、FP4 这些算法创新如果没有配套的 kernel、并行策略和训练框架，只会停留在论文里。V4 大约 3% 的激活率（1.6T 总参数中只激活 49B）是业内最激进的，这种极端稀疏对 infra 的要求远超普通 dense 模型。

从产业影响看，TileLang 的推广和 FP4 QAT 的实践是最值得关注的两个点——前者降低了高性能 kernel 开发的门槛，后者定义了下一代推理硬件的精度需求。

评估

参考：详解 DeepSeek V4：Infra 巨鲸 “四连击”，百万上下文走进现实

欢迎关注微信公众号👏

微信公众号

欢迎微信扫码加入我的付费知识星球👏

知识星球
Discuss on Twitter • View on GitHub