GLM-5 技术报告速览

模型架构

GLM-5 整体的模型架构与 DeepSeek-v3.2 很像。

图片源自 Sebastian Raschka

DSA

GLM-5 采用了 DeepSeek Sparse Attention，这是由 DeepSeek 开发并在 DeepSeek-3.2 中使用的的稀疏注意力。

在传统的全注意力机制中，每一个 Query 都必须与序列中所有之前的 Key 进行交互计算。随着序列长度增加，计算量会呈平方级增长，导致在长文本场景下效率极低。传统的注意力机制对序列长度 $L$ 存在二次计算复杂度 $O(L^2)$，这为长上下文应用和可扩展训练带来了瓶颈。

DSA 将这种复杂度降低到 $O(Lk)$，其中 $k \ll L$ 代表选定的 token 数量。被称为“稀疏”注意力，是因为在计算注意力时，模型并不是查看之前所有的 Token，而是只选择性地关注其中一小部分最相关的 Token，忽略剩下的绝大多数无关 Token。对于长序列 DSA 可将计算成本降低 1.5-2倍，同时保持与密集注意力模型相当的性能。

该机制由两个主要组件组成：

• 闪电索引器（Lightning Indexer）：该组件计算每个查询 token 相对于所有先前 token 的索引分数，以识别最相关的上下文。索引器使用少量注意力头，并可采用 FP8 精度实现以提高效率。
• 细粒度 Token 选择（Fine-grained Token Selection）：根据计算出的索引分数，只检索并使用前 $k$ 个键值对进行后续注意力计算，从而在保持性能的同时大幅降低计算开销。

该实现遵循两阶段的持续预训练方法：

1. 密集热身阶段（Dense Warm-up Stage）：初始化闪电索引器，而所有其他参数保持冻结。训练使用 KL 散度损失将索引器输出与主密集注意力分布对齐。
2. 稀疏训练阶段（Sparse Training Stage）：引入细粒度 token 选择，并优化所有模型参数以适应稀疏注意力模式。

多潜在注意力与多标记预测

GLM-5 采用带有“Muon Split”的多潜在注意力（MLA，Multi-latent attention），以克服与分组查询注意力（Grouped-Query Attention）的性能差距，同时保持稳定的注意力逻辑。

MLA 首次在 DeepSeek-v2 中出现，v3 也同样采用了这个技术。MLA 可将键和值压缩到低维潜在向量中，从而减少 KV 缓存内存并提高推理效率，因此具备更优越的 GPU 显存节省能力，并且在处理长上下文序列时速度更快。

团队发现当配合 Muon optimizer 使用时，标准的 MLA（576 维潜在 KV 缓存）无法达到 GQA-8 的性能。为了解决这个问题，他们提出了 "Muon Split" 策略，即将投影矩阵拆分为针对不同头的较小矩阵并独立进行正交化，这成功提升了 MLA 的表现以匹配 GQA-8。

该模型还在训练期间引入了多标记预测（MTP，Multi-token Prediction），并在三个MTP层之间共享参数，这提高了基础模型的性能并实现了更高效的推测性解码。

训练方法

训练管道由三个不同的阶段组成：预训练、中训练和后训练，每个阶段都针对特定的能力和效率要求进行了优化。

预训练和中训练

基础模型预训练使用了 28.5 万亿个标记的庞大语料库，早期侧重于代码和推理数据。

训练在中训练期间逐步将上下文长度从 4K 扩展到 200K 标记，并结合长上下文智能体数据，以确保复杂工作流的稳定性。这一阶段的核心目的是赋予模型代理（agentic）能力和长上下文处理能力，使其能够处理更复杂的任务输入。

后训练

后训练（Post-training）则发生在基础模型构建完成之后，主要侧重于模型的对齐（alignment）和自主性（autonomy）。

在这一阶段，GLM-5 团队引入了新的异步强化学习（RL）基础设施，通过将生成过程与训练过程解耦来大幅提升效率。后训练利用异步代理 RL 算法，让模型通过长周期的交互进行学习，重点优化模型在动态环境中的规划能力和自我修正能力，从而提升其解决实际端到端软件工程挑战的水平。

主线是一个渐进式对齐流水线：先做多任务 SFT 打底，再分阶段做面向推理与 agent 的强化学习，最后再做更通用的人类风格对齐，并用跨阶段蒸馏去减少能力回退、把各阶段的收益“固化”下来。

SFT 里一个很关键的“产品化/行为层”变化是他们引入三种 thinking 形态来服务工具使用与长任务：Interleaved Thinking（在每次回复和每次 tool call 前都先思考，提升指令遵循与生成质量）、Preserved Thinking（在 coding agent 多轮里自动保留并复用之前的 thinking block，减少重复推导导致的信息损失与不一致）、Turn-level Thinking（每轮可控地开/关推理以权衡成本与质量）。这部分本质上是在为“长时程、多动作、多工具”的 agent 工作流塑形。

接着是强化学习阶段（RL），团队把它拆成更专门的子阶段：先做 Reasoning RL，再做 Agentic RL，最后做 General RL 用于更通用的人类偏好/助手式对齐。报告明确说这是“progressive alignment strategy”，并且在流程末尾用 on-policy cross-stage distillation 作为最后精炼，来缓解“能力回退（capability regression）”并吸收各阶段 RL 的增益。

硬件适配

该模型包含对七个国产 GPU 生态系统的全栈适配，包括华为昇腾、摩尔线程、海光、寒武纪、昆仑芯、沐曦、燧原。这种适配涵盖：

• 用于内存效率的 W4A8 混合精度量化
• 高性能融合内核（Lightning Indexer、Sparse Flash Attention）
• 带有异步调度的专用推理引擎优化

模型评估

根据 Artificial Analysis Intelligence Index 的评测，GLM-5 与 Claude opus 4.5 并列第三，开源模型第一。

传统榜单评测里，由于 vibe coding 需要，个人比较看重 SWE-bench。原始的 SWE-bench 是普林斯顿一个研究团队提出的学术基准，用真实开源仓库和 GitHub issues 来评估代码能力，样本语言主要是 Python。

OpenAI 在这个原始基准之上，投入大量人力（近百名真实软件工程师）进行清洗、重构和严格人工审查，挑出约 500 个高质量任务子集，并配上更可靠的测试和 Verified 流程，把它打造成行业“北极星”级的代码评测版本，命名为 SWE-bench Verified。

SWE-bench Multilingual 是针对编程语言覆盖的扩展版本，设计初衷是解决 SWE-bench 及其变种过于集中在 Python 语言的问题。

从这两个榜单看，glm-5 的编程水平接近顶级的闭源模型。

其他榜单中，glm-5 变现也都不错：

• Terminal-Bench 2.0 → 强调终端操作 + 软件工程环境执行能力

• BrowseComp → 强调开放网页检索 + 多跳推理能力
• MCP-Atlas → 强调 MCP 工具编排 + API 调用能力
• Vending Bench 2 → 强调状态管理 + 规则驱动决策能力

欢迎关注微信公众号👏

欢迎微信扫码加入我的付费知识星球👏