Kimi K3：开放前沿智能

0.1 两条 scaling 轴

大语言模型的发展沿着两条独立的轴线在走。

第一条叫训练时的 scaling——把模型做得更大，喂更多数据，烧更多算力。这是 GPT-3 时代确立的路线：参数从 billions 到 tens of billions，再到 hundreds of billions。但开源世界在这条轴上走得很慢，很多最近的模型还停留在 1T 量级附近打转。

第二条叫测试时的 scaling——不让模型变大，而是让它在回答问题时多想一会儿。OpenAI 的 o 系列用强化学习训推理能力，Anthropic 的 Claude 会自适应分配思考预算，DeepSeek-R1 和 Kimi K1.5 证明了大规模强化学习能从强预训练模型中激发复杂推理行为。

0.2 基本数字

Kimi K3（Kimi K3）：月之暗面（Moonshot AI）发布的开源大语言模型，2026年7月发布。

这些数字背后的故事是：激活参数翻了两倍多，但总参数只涨了不到三倍。这意味着稀疏度从 K2 的 8/384 = 2.1% 变成了 K3 的 16/896 = 1.8%——模型更大了，但每个 token 只多动用了一倍的计算量。这就是 MoE（混合专家）架构的核心优势：参数是仓库，计算是工人，仓库可以无限大，工人按需调度。

0.3 论文的四大贡献

论文在引言末尾用四个 bullet 总结了贡献，这里用大白话翻译一遍：

1. 预训练到开放前沿：训练了一个 2.8T 参数的原生多模态 MoE 模型，104B 激活参数，1M 上下文窗口。KDA、AttnRes、Stable Latent MoE 和精调的训练配方加在一起，把整体 scaling 效率比 K2 提升了约 2.5 倍。
2. 多努力级别的强化学习：在通用、智能体和编码三个领域做 RL，每个领域分低/高/最大三档推理努力，总共 9 个专家模型，最后用多教师在线策略蒸馏（MOPD）合并成一个统一模型。
3. 支撑万亿参数百万上下文的基础设施：KDA 系统协同设计（FlashKDA kernel、KCP）、MoonEP 完美均衡 EP 训练、1M agentic RL 系统（外部 KV cache 池、自动限流调度、可恢复 microVM 沙箱）。
4. 开放前沿模型：完整权重开源发布。

1.1 三维信息流

论文用一句话概括了整个架构的设计哲学：K3 的架构是为了在三个互补的维度上扩展信息流——序列长度、网络深度、模型宽度。每个维度对应一个核心模块：

Hybrid Attention（Hybrid Attention）：K3 的注意力层不是纯 Transformer 的 softmax attention，而是一个混合方案——每个 Block 包含 3 个 KDA 层加 1 个 GatedMLA 层。KDA 负责高效的长序列混合，GatedMLA 负责保留全局交互能力。

Attention Residuals（AttnRes）：标准残差连接把所有历史信息压缩进一个不断累积的向量 h_l，像 RNN 一样。而 AttnRes 让每一层都能通过注意力机制「回头看」前面所有层的输出，选择性地检索有用信息。

Stable Latent MoE（Stable Latent MoE）：MoE 的升级版。路由专家从 384 涨到 896，但每个专家在低维 latent 空间工作，而不是全宽。用 RMSNorm 前置、SiTU-GLU 激活和 Quantile Balancing 三个组件保证训练稳定。

1.2 一个 Block 的结构

关键细节：

• 3:1 混合比：每个 Block 里 3 层 KDA + 1 层 GatedMLA。KDA 是线性复杂度的递归注意力，便宜但表达能力有限；GatedMLA 是全局注意力，贵但能做 token 之间的任意交互。3:1 意味着大部分层走便宜路线，只在每个 Block 末尾用一次全局注意力。
• backbone 末尾加一层 GatedMLA：确保模型最后一层一定是全局注意力，不会因为末尾是 KDA 而丢失全局信息。
• 每层注意力后面都接 MoE：而不是每两三层才接一次。这意味着每个 attention-MoE 组合就是一个完整的 transformer 子层。

1.3 层数算术

2.1 先直觉：一个会遗忘的黑板

想象一块黑板，上面写着所有历史信息。每来一个新 token，它做两件事：先擦掉一些旧内容（遗忘），再写上新内容（更新）。关键在于——擦多少是逐通道决定的，不是一刀切。

这就是 KDA（Kimi Delta Attention）的核心思想。它用一个固定大小的矩阵 S 来记住历史，而不是像标准 Transformer 那样把所有 token 的 KV cache 都存着。每来一个新 token，S 就更新一次；越老的信息衰减越厉害，但不会突然消失。

Delta规则（Delta Rule）：一种递归状态更新规则。新状态 = 衰减后的旧状态 + 新写入。关键在于它不是简单地「加上」新信息，而是先用当前 token 的 key 去减去旧状态中与这个 key 重叠的部分（delta = 差值），再加入 value。类似于「先擦掉重叠的，再写新的」。

2.2 公式拆解

KDA 的核心状态更新公式（论文公式1）如下：

一行一行拆：

右边的两项各有分工：

• 第一项 (I - beta k k^T) Diag(alpha) S_{t-1}：先衰减再擦除。Diag(alpha) 对旧状态每个通道施加独立的衰减率；然后 (I - beta k k^T) 用当前 key 去擦掉旧状态中与之重叠的部分——这就是 delta 规则的「减去重叠」操作。beta 控制擦除力度。
• 第二项 beta k v^T：写入新信息。key 和 value 做外积，形成一个新的 rank-1 矩阵，加到状态里。beta 同时控制擦除和写入的强度。

2.3 通道遗忘门：精细控制

alpha_t 是一个 dk 维的向量，每个分量独立取值于 (0,1)。这意味着状态的每个通道有不同的遗忘速度——有些通道记得久，有些忘得快。

通道遗忘门（Channel-wise Forget Gate）：alpha_t 在 KDA 中的参数化方式。它不是手动设定的，而是从输入 x_t 通过低秩投影 + Sigmoid 生成的（论文公式2）。低秩投影 W_alpha_up W_alpha_down x_t + b_alpha 产生每个通道的 decay logit z_t，再映射到 (0,1) 区间。

对比 RNN 的遗忘门：LSTM/GRU 的遗忘门是标量（一个数控制整个隐状态），而 KDA 的遗忘门是向量（每个通道一个数）。粒度更细，表达能力更强。

2.4 读出和参数化

状态更新完之后，输出怎么取？用 query 去读：

就是状态矩阵的转置乘以 query 向量。q_t、k_t 通过 ShortConv（短卷积）+ Swish 激活 + L2 归一化生成（论文公式2）。 ShortConv 让每个 token 的 query/key 带一点局部上下文信息，不只是「看自己」。

2.5 分块并行

递归形式是串行的——必须先算完 S_{t-1} 才能算 S_t。GPU 不喜欢串行。KDA 的解法是分块并行（chunkwise parallel）：把序列切成大小为 C 的块，块内并行计算（像标准 attention 一样并行），块间串行传递状态。

论文公式4 把输出分成两项：

• inter-chunk 项：Gamma * Q * S[t]，处理前面块传过来的状态——这是串行的，每个块只需做一次矩阵乘法
• intra-chunk 项：A[t] * V_hat[t]，处理当前块内的 token 互相影响——这是并行的，用下三角因果掩码的密集矩阵乘法

3.1 问题：衰减率的无界增长

回顾分块并行公式（公式4），块内每个位置 i 的 key 要除以累积衰减 Gamma_{1->i}。因为 Gamma 是 (0,1) 之间值的连乘，随着位置增加越来越小，它的倒数 1/Gamma 就越来越大。

KimiLinear（KDA 的前身）用 log 空间计算相对衰减，并把每个块切成 16-token 的小块（tile）来控制数值范围。但问题出在对角块（diagonal tile）——它需要逐位置对计算，不能用 Tensor Core 的密集矩阵乘法加速，成了 intra-chunk 的主要瓶颈。

3.2 解决方案：下界衰减

K3 的思路很直接：问题根源是衰减率可以无限接近 0，导致倒数无限大。那就给衰减率设一个下界。

原来的参数化（KimiLinear）用的是 negative-Softplus 映射：

K3 改成 scaled sigmoid 映射（论文公式5）：

其中 g_min = -5 是固定值，A 是可学习的逐头对数缩放因子（初始化为 0）。

3.3 全秩输出门

KDA 的输出经过头级 RMSNorm 后，再过一个输出门。KimiLinear 的输出门是低秩的（用降维-升维投影实现），K3 把它改成了全秩的、数据相关的门（论文公式6）：

W_g 是全秩的方阵（d x d），不是低秩分解。这意味着每个通道的门控值可以独立地从输入中获取信息，不受低秩瓶颈限制。

同样的全秩门也用在了 GatedMLA 上（公式7），K3 在这两处都做了统一升级。

4.1 MLA 的核心思想：把 KV 压缩成 latent 向量

标准 Transformer 的注意力需要缓存每个 token 的 key 和 value——序列越长，缓存越大。MLA（Multi-head Latent Attention）的做法是：不缓存完整的 key-value 对，而是缓存一个低维的 latent 向量 c，需要时再通过学习到的上投影矩阵重建 key 和 value。

这样每个 token 只需要缓存 c_t（维度可能只有 d 的一个零头），而不是完整的 K 和 V。KV-cache 的体积大幅缩小。

4.2 NoPE：不给 MLA 加位置编码

这是一个反直觉的设计决策。K2 和 K2.5 的 MLA 层用了 RoPE（旋转位置编码），K3 把它去掉了——所有 MLA 层使用 NoPE（No Position Encoding）。

论文给出的理由很直接：

• 分工明确：KDA 层通过衰减门控天然编码了位置信息（越近的 token 权重越高），MLA 层只需要做纯内容交互，不需要重复编码位置
• 扩展方便：用 RoPE 时，扩展上下文长度需要调频率基数或做 YaRN 插值——这是额外工程。用 NoPE 后，扩展上下文只需继续训练，不修改任何位置编码参数
• 避免冲突：KDA 的递归衰减和 RoPE 的旋转编码如果同时作用，位置信号可能互相干扰

4.3 全秩输出门

和 KDA 一样，GatedMLA 也升级了全秩输出门（公式7）：

o_tilde 是未加门的 MLA 输出。Sigmoid 门让每个 token 能动态调制从全局注意力读出的通道——有些通道的信息在当前 token 位置有用，有些没用，门控负责筛选。

4.4 FP32 注意力输出修正

一个工程细节：Flash Attention 在低精度计算时有舍入偏差（biased rounding error）。K3 采用 [98] 的方法，在训练时把注意力输出保持在 FP32。

代价是 on-chip 轨迹缓冲（output tile）翻倍。K3 的解决方案是重新设计训练 kernel，把 FP32 输出缓冲与 KV staging buffer 共享而非占用 query tile 的空间，释放共享内存给更深的 KV pipeline，反而提高了训练吞吐。

5.1 93 层的分解

从 Table 1 可以读到关键数字：

23 个完整 Block 中，每个 Block = 3 KDA + 1 GatedMLA = 4 层。23 x 4 = 92 层，再加末尾 1 层 GatedMLA = 93 层。

5.2 为什么是 3:1

3:1 的比例意味着 75% 的注意力层是高效的线性递归（KDA），25% 是精确的全局注意力（MLA）。这个比例需要从两个角度看：

• 效率角度：KDA 的状态大小固定（d_k x d_v），不随序列长度增长。MLA 虽然有 latent 压缩，但 KV-cache 仍然随线性增长。3:1 让大部分层的计算和内存开销不随序列长度爆炸
• 精度角度：KDA 的递归状态会压缩信息——越远的 token 信息衰减越厉害。每 4 层插入 1 层全局注意力，相当于在信息丢失到不可恢复之前「刷新」一次，确保全局信息的精确性

5.3 末尾追加的 GatedMLA

一个容易被忽略的细节：backbone 最后额外加了 1 层 GatedMLA。论文说这是为了「确保最后一层始终执行全局注意力」。

为什么重要？如果最后一层是 KDA，它的输出是递归状态读取的结果——信息经过了 3:1 混合中最后一次 KDA 的压缩。如果最后一层是 MLA，输出经过了完整全局注意力的精确处理，可以直接进入下游任务（如词表投影）。在生成任务中，最后一个 token 的表示质量直接影响下一个 token 的预测——这里不能省。

5.4 与 K2 的架构对比

K2 用的是纯 MLA（61 层全都是 MLA），K3 改成了混合 KDA-MLA。这是最大的架构差异之一。

注意 MLA 层数从 61 降到 24（减少 60%！），但总层数从 61 涨到 93（增加 52%）。增量全部来自 KDA 层。这意味着 K3 用更少的全局注意力层实现了更强的性能——KDA 的效率优势让预算可以用在更深的网络和更宽的 MoE 上。

6.1 问题：标准残差是深度的 RNN

标准 Transformer 的残差连接：h_l = f_l(h_{l-1}) + h_{l-1}。每一层的输出 = 自己的计算结果 + 之前的累积状态。信息只能沿着相邻层逐步累积——第 50 层要「看到」第 3 层的信息，得经过 47 层的中间处理。

论文用了一个精确的类比：这和 RNN 在时间维度上的问题一模一样。RNN 中，h_t 依赖 h_{t-1}，长序列信息会衰减。标准残差在深度维度上也有同样的问题——越深的层，对早期层的信息访问越间接。

Transformer 在序列维度上用 attention 解决了 RNN 的问题（每个位置直接访问所有之前位置）。AttnRes 把同样的方案搬到深度维度：每层直接访问所有之前层的输出。

6.2 Full AttnRes：每层都能看所有之前层

公式8-9定义了完整的 AttnRes：

Keys 和 Values（公式8）：对于第 l 层，keys 和 values 就是第 0 到 l-1 层的输出（第 0 层是 token embedding）：

伪查询（公式9）：q_l = w_l 是一个可学习的、层特定的参数向量，不依赖输入数据。它决定了第 l 层「想要从之前层看什么」。

其中 phi(q, k) = exp(q^T RMSNorm(k)) 是 softmax kernel，RMSNorm 防止输出范数大的层主导权重。

6.3 Block AttnRes：分块降内存

Full AttnRes 的问题：需要保存所有 L 层的输出在内存中，O(L*d) 的内存开销 + 流水线并行中的跨阶段通信。L=93 时不算太大，但仍然不可忽略。

Block AttnRes 的方案：把 L 层分成 N 个 Block，每 Block 有 S = L/N 层。

• Block 内：同一 Block 内的层输出求和压缩成单个 Block 表示 b_n
• Block 间：只在 N 个 Block 表示之间做 attention

公式10定义了值矩阵的组成：

内存从 O(L*d) 降到 O(N*d)。N=8 时，从 O(93*d) 降到 O(8*d)，压缩 11.6 倍。

6.4 K3 的具体配置

93 层分成 8 个 Block，每个 Block 约 12 层（93/8=11.625），末尾有一个不完整的 Block。加上 embedding 层作为第 0 个 Block 的起点，总共 9 个 Block 表示参与 attention。

论文指出 N 约 8 就能恢复大部分收益（跨模型规模的消融实验验证），更大的 N 收益递减但内存继续下降。K3 选 N=8 是效率-精度的平衡点。

7.1 为什么需要 LatentMoE

标准 MoE 的做法：每个 token 选 top-k 个专家，每个专家收到完整的 d 维表示，做一次 FFN。问题是，当你想把专家池扩到 896、激活 16 个时，每个 token 要和 16 个专家通信，每个专家都要处理 d=7168 维的输入——通信量和计算量随路由倍数线性增长。

LatentMoE 的解法：把共享路径和路由路径分开。共享专家（Shared Expert）始终处理完整的 d 维输入，负责通用变换。路由专家（Routed Expert）在压缩后的 latent 空间（l=3584，只有 d 的一半）工作，通信量和计算量减半。

8.1 从SwiGLU的隐患说起

SwiGLU是当前大模型最主流的激活函数，几乎所有旗舰模型——LLaMA、Mistral、Qwen——都采用了它。它的核心思想很简单：用一个sigmoid门控信号来调节线性变换的输出，让信息流可以选择性地通过。

SwiGLU的标量形式可以写成：

其中σ(x) = sigmoid(x) = 1/(1+e^-x)。看上去很温和，不是吗？sigmoid的输出在(0,1)之间，x乘以一个0到1之间的数，似乎不会太大。

但问题恰恰出在这里。让我们把SwiGLU的标量行为仔细看一遍：当x = 4时，σ(4) ≈ 0.982，所以SwiGLU(4) ≈ 3.93。当x = 10时，σ(10) ≈ 0.99995，SwiGLU(10) ≈ 9.9995。当x = 100时，σ(100) ≈ 1.0，SwiGLU(100) ≈ 100。

K3团队在训练2.8T参数模型时亲历了这个问题：SwiGLU的激活值在部分层突然爆炸，导致训练不稳定甚至崩溃。这不是偶发事件，而是架构层面的结构性风险。

8.2 SiTU-GLU：带安全帽的激活

解决思路很直观：既然问题是无界，那就加一个界。但怎么加，大有讲究。

最粗暴的做法是直接硬截断：把超过某个阈值的值裁掉。但这会带来一个严重问题——梯度消失。想象一下，你用一把锋利的剪刀把超出100的值全部剪成100。在那个被剪掉的区域里，梯度变成了零。模型学到「输出不能超过100」，但代价是丧失了在那个区域的微调能力。这就好比你给弹簧加了一块硬铁板——碰到铁板就停了，但弹簧也因此失去了在边界附近继续调节的自由度。

SiTU-GLU（Sigmoid-Tanh Unit GLU）采用了更优雅的方案：用scaled tanh替代原始的线性项，实现平滑有界。公式如下：

让我们逐项拆解：

关键参数设置：β₁ = 4（门控分支），β₂ = 25（上投影分支）。

8.3 为什么用scaled tanh？

现在关键的问题是：为什么选择 scaled tanh 而不是别的有界函数？答案在局部展开里。

考虑函数 f(z) = β · tanh(z / β)。当z ≈ 0时，对它做泰勒展开：

这意味着在原点附近，scaled tanh 一阶等价于恒等函数，也就是等价于原始的线性变换！当β足够大时（β₁=4, β₂=25），在大部分正常工作的输入范围内，SiTU-GLU和SwiGLU的行为几乎一模一样。只有当输入真的冲到极端值时，tanh的饱和特性才把它兜住。

论文附录B进一步证明：当 β₁, β₂ → ∞ 时，SiTU-GLU逐点收敛到SwiGLU。换句话说，SwiGLU是SiTU-GLU在安全帽「无限宽松」时的极限情况——安全帽变成了空气。

这个收敛性质意味着：SiTU-GLU不是对SwiGLU的「推翻」，而是对它的「推广」。它多了一个有界的保证，但不改变核心行为。

8.4 安全帽 vs 硬截断：梯度视角

硬截断（hard clamping）和SiTU-GLU的scaled tanh都可以把输出限制在有限范围内，但它们的梯度行为截然不同。

硬截断的梯度在边界处为零：

这意味着一旦某个神经元的输出被截断，梯度反向传播到此处就断了——权重收不到任何更新信号。在极端情况下，大量神经元被截断，模型的很大一部分实际上停止了学习。

而scaled tanh的梯度：

关键区别在于：在|z| ≈ β的「安全帽边缘」区域，梯度仍然是非零的。模型在这个区域依然可以微调权重，逐步把激活值从边界拉回来。这是一个自我修复机制——而不是像硬截断那样直接切断了反馈回路。

图4对比了GLU、SwiGLU、SiTU-GLU三种激活函数的标量响应曲线。可以清楚看到：GLU和SwiGLU的响应随输入无界增长，而SiTU-GLU的曲线在远处平滑地饱和到水平线——输出被兜住了，但曲线没有折角，梯度还在。

8.5 输出上界的精确推导

让我们严格推导SiTU-GLU的输出上界。

对于每个输出分量，SiTU-GLU的形式为：

其中g和u分别是门控分支和上投影分支的pre-activation值。逐项分析范围：

• |β₁ · tanh(g/β₁)| ≤ β₁ = 4
• 0 < σ(g) ≤ 1
• |β₂ · tanh(u/β₂)| ≤ β₂ = 25

因此：

注意，β₁和β₂的选择不是任意的。β₁=4是为了让门控分支在正常工作区间内几乎不受影响（4倍标准差已覆盖99.99%的高斯分布），β₂=25是因为上投影分支的输出方差更大，需要更宽松的安全帽。它们的乘积100是一个经验上兼顾「不勒头」和「兜得住」的上界。

9.1 896个专家的调度难题

K3的MoE层有896个专家，每个token只选Top-16。这意味着每个token的「注意力」集中在1.8%的专家上。这本身没问题——稀疏选择是MoE效率的来源。但问题在于：如果所有token都偏爱少数几个「明星专家」，这几个专家就会变成瓶颈，而大量「冷门专家」则白白占用参数却不参与计算。

传统做法是加辅助损失（auxiliary loss），惩罚负载不均衡。但这有一个根本性矛盾：辅助损失太弱，均衡效果不够；辅助损失太强，会干扰主训练目标——模型被迫均匀使用专家，即使某些专家天生更擅长某些任务。

9.2 无辅助损失路由：偏置项的思路

核心思想是给每个专家j加一个可调偏置b_j。路由选择时，在原始打分上加上偏置：

但关键的是，偏置不参与混合权重的计算：

这意味着偏置只影响「谁被选中」，不影响「选中后分到多少权重」。这是一种纯粹的「调度工具」，不会干扰模型对专家能力的判断。

偏置项 b_j：附加在专家j路由分数上的标量，仅用于Top-k选择，不参与混合权重计算。过载的专家获得负偏置（降低被选概率），闲置的专家获得正偏置（增加被选概率）。

偏置的更新规则是核心。最早的方法使用固定步长更新：

当专家j的负载低于平均时，b_j增加（鼓励更多token选它）；高于平均时，b_j减少（ discourage过度使用）。步长γ是固定的。

9.3 Quantile Balancing：从固定步长到自适应步长

Quantile Balancing（QB）的核心洞见是：与其用固定步长试探性地调整偏置，不如直接计算「要让第j个专家恰好达到目标负载，偏置应该设在哪里」。

先建立完整的路由公式（公式13）：

现在的问题是：b_j应该如何更新？QB的答案是（公式14）：

这个公式看起来复杂，让我们逐层拆解。

9.4 Top-(k+1)的妙用：分位数截断点的自然来源

公式中的α_i(t)是token i的「截断点」——即第k大的（s_i,j + b_j）值。恰好选了Top-k个专家时，第(k+1)大的值就是自然的截断线。所以如果我们同时做Top-(k+1)路由，就能免费得到这个α_i，无需额外计算。

让我们用论文的图5来具体化这个过程。图5展示了一个小规模示例：m=8个token，n=4个专家，k=1（每个token选1个专家），目标负载q = mk/n = 8×1/4 = 2（每个专家应被2个token选中）。

QB的更新逻辑：

• 对每个专家j，收集所有token对它的「余量」：s_:,j − α_i，即「如果偏置为0，这个token会以多大的余量选择/不选择专家j」
• 取这些余量的第(1-k/n)分位数。在图5的例子中，k/n=1/4，所以取第75%分位数
• 这个分位数的含义：如果设b_j等于这个值，恰好有q=2个token的（s_i,j+b_j）超过α_i，即恰好2个token选择专家j
• 最后减去所有b_j的均值，避免偏置整体偏移

9.5 大规模下的直方图估计

在K3的实际训练中，全局batch包含数百万个token。对896个专家中的每一个，计算数百万个余量值的精确分位数，计算和通信成本都不可接受。

QB的解决方案是用直方图近似分位数：

• 每个GPU维护本地直方图（几百个bin），统计余量值的分布
• 用all-reduce sum聚合所有GPU的直方图
• 在聚合直方图上用线性插值估计分位数

几百个bin的直方图，每个bin一个整数，896个专家总共不到1MB的数据量。一次all-reduce sum的通信成本微乎其微，而分位数的估计精度对路由质量来说完全足够。

训练完成后，偏置b_j被冻结，推理时直接使用训练结束时的值。这是因为推理时没有「更新偏置以均衡负载」的需求——偏置已经收敛到了让负载大致均衡的值。

10.1 两种视觉编码器的诞生之路

多模态大模型需要把图像「翻译」成语言模型能理解的token序列。这个翻译器就是视觉编码器。问题是：这个编码器从哪里来？

路线A——对比学习初始化：先用对比学习（如SigLIP）在一个巨大的「图像-文本对」数据集上训练视觉编码器，让它学会把图像映射到一个与文本对齐的语义空间。然后把预训练好的编码器权重「嫁接」到语言模型上，再联合微调。K2.5走的就是这条路。

路线B——从零训练：视觉编码器不经过任何预训练，直接和语言模型一起从随机初始化开始，用next-token prediction目标联合训练。K3的MoonViT-V2走的就是这条路。

但K3团队的实验发现了一个反直觉的事实：路线A虽然起点好，但训练过程反而更不稳定。

10.2 梯度范数告诉我们的真相

论文图6对比了两种初始化方式在训练过程中的梯度范数变化：

• SigLIP初始化的MoonViT-3D：梯度范数整体更高，且出现明显的尖刺（spikes）。这些尖刺意味着某些训练步的梯度突然放大，可能导致参数更新过大，训练不稳定。
• 从零初始化的MoonViT-V2：梯度范数更低，且全程平稳无尖刺。训练过程像一条平静的河流，没有急流险滩。

为什么会这样？原因在于特征分布不匹配。

SigLIP预训练的视觉编码器输出的是「对比学习对齐」的特征——这些特征在一个与文本共享的语义空间中，分布紧凑、范数相对固定。而语言模型期待的是「next-token prediction对齐」的特征——这些特征的分布更宽、范数变化更大。当两种分布不匹配的特征被迫在同一个前向传播中协作时，梯度信号就会出现剧烈振荡。

10.3 MoonViT-V2的架构设计

MoonViT-V2的架构需要同时处理图像和视频，且要和文本token在同一个Transformer主干中流动。它的设计围绕三个核心问题展开：时空如何解耦、token如何压缩、分辨率如何扩展。

架构参数

27层、0.4B参数——与语言模型数十亿参数的体量相比，这是一个轻量级的视觉编码器。它的职责不是「深度理解」图像，而是把像素信号编码成语言模型能消化的高质量token序列。

RMSNorm：Root Mean Square Normalization，与LayerNorm类似但去掉均值中心化步骤，只做缩放。计算更快，且在K3的语言模型中统一使用。

10.4 时空分解注意力：拆开空间和时间

视频是三维信号：空间（宽×高）×时间（帧数）。如果把所有像素展平成token，注意力矩阵的复杂度是O(T²)，其中T = H × W × F（高×宽×帧数）。这对于高分辨率视频是不可接受的。

MoonViT-V2的做法是分解注意力：

• 帧内空间注意力：在同一帧内做自注意力，捕捉空间结构（哪里有物体、边缘在哪里）
• 帧间时间注意力：跨帧做注意力，捕捉时间动态（物体如何运动、场景如何变化）

这样每步注意力的复杂度从O((HWF)²)降为O(HW) + O(F)，分别处理空间和时间维度。

10.5 时间池化与像素混洗：压缩token的两把刀

视觉信号会产生大量token，必须压缩才能送入有限上下文的语言模型。MoonViT-V2用了两把「压缩刀」：

时间池化（Temporal Pooling）：沿时间维度合并相邻帧的token。比如4帧池化为1帧，时间维度的token数减少4倍。这对于视频特别重要——30fps的视频有大量冗余帧，相邻帧几乎相同。

像素混洗下采样（Pixel-shuffle with 2×2 downsampling）：空间维度的压缩。将2×2的空间块重组为1个token，视觉token总数减少4倍。与简单的平均池化不同，pixel-shuffle保留了更多空间细节，因为它是通过线性变换实现的重组而非信息丢弃。

举例：一个3584×3584像素的图像，经过2×2像素混洗后变为1792×1792的空间网格，再展平为token。在patch size为14×14（常见ViT设置）的情况下，token数量为(1792/14) × (1792/14) = 128 × 128 = 16,384。加上视频帧的时间池化，token数还可以进一步压缩。

10.6 对比学习预训练真的必要吗？

MoonViT-V2最重要的发现不是架构创新，而是一个实验结论：从零训练的视觉编码器，在多模态评测上与对比学习初始化的基线性能持平。

这意味着什么？

在K3之前，主流观点是：对比学习预训练为视觉编码器提供了「语义先验」，是高质量多模态理解的必要前提。这个观点有直觉支撑——对比学习让视觉编码器学会了「猫的图片」和「cat」文本之间的映射，这个映射对下游任务有正迁移。

但K3的实验结果暗示了另一种可能性：在足够大的语言模型和足够多的多模态数据下，next-token prediction目标本身就足以让视觉编码器学会高质量的特征表示。对比学习的「语义先验」在训练初期可能有帮助，但随着训练的推进，两种初始化最终收敛到相似的能力水平。

当然，这个结论的适用范围需要谨慎理解：

• 它适用于K3的规模和训练设置——0.4B参数视觉编码器 + 数十亿参数语言模型 + 大量多模态数据。在更小规模下，对比学习初始化的正迁移可能更显著。
• 它适用于next-token prediction目标——如果训练目标不同（如图文匹配），结论可能不同。
• 它是一个实验性结论而非理论证明——不能排除在特定条件下对比学习初始化仍有优势。

10.7 原生多模态的威力：视觉token与文本token同流

MoonViT-V2输出的视觉token和文本token在同一个Transformer主干中流动，共享注意力机制。这意味着：

• 模型可以同时理解图像中的视觉内容和文本中的语义内容
• 模型可以生成代码来处理视觉信息（如写Python脚本分析截图中的数据）
• 模型可以检查截图并根据截图内容迭代调整自己的输出
• 视觉和语言的交互不是事后对齐，而是原生融合——在每一个Transformer层中，视觉token和文本token都可以互相attend

这是K3多模态能力的基础架构保障。从零训练不是偷懒——它是一种更彻底的原生多模态策略。

11.1 数据版图：四域文本加全域视觉

K3的预训练数据由两大板块构成：文本域和视觉域。文本域划分为四个子域——Web Text（网页文本）、Code（代码）、Mathematics（数学）、Knowledge（结构化知识）。视觉域则是一个大规模语料库，涵盖六大类型：图像描述（captions）、图文交错（interleaved image-text）、OCR数据、感知数据、视频数据、以及视觉编程数据（visual coding data）。

为什么要把视觉数据分这么细？直觉是这样的：如果你只用图像描述数据，模型学会的是「看到图→说一句话」这种浅层映射；但真实世界的视觉理解远不止于此。OCR要求模型从像素中提取文字结构，感知数据要求模型理解空间关系和物理属性，视频数据要求模型跨越时间维度建立因果链，视觉编程数据则要求模型把视觉信息转化为可执行的操作。每一种视觉能力对应一种不同的「看」的方式，混在一起喂反而让模型在能力之间互相干扰。

K3的一个核心设计决策是原生多模态训练（Native Multimodal Training）：语言和视觉从预训练第一天就联合优化，而不是先训好语言模型再通过后对齐（post-hoc alignment）接入视觉。这意味着模型不需要在后期经历一个「翻译层」来把视觉表征对齐到语言空间——视觉和语言的表征从一开始就在同一个优化目标下共同进化。代价是训练更复杂、调参更难，但收益是模态之间的对齐深度远超后对齐方案。

11.2 Rephrasing Recipe：让模型从「背」到「懂」

大规模语料库有一个顽疾：知识密集型文本（如百科、教科书）和数学推导文本的分布极其不均匀。同一个知识点可能被数万篇质量参差不齐的文章重复表述，模型很容易陷入「死记硬背」模式——记住特定表述方式，而非理解知识本身。

K3从K2继承了Rephrasing Recipe（改写配方），并在规模和保真度上做了升级。这个配方有三个步骤：

这三步解决的不是一个「数据量」问题，而是一个「数据质量分布」问题。即使你有一亿篇高质量文章，如果它们的表述方式高度同质，模型学到的更多是统计上的措辞模式，而非深层语义。Rephrasing通过增加表述多样性来打破这种同质性，让模型被迫在语义层面而非措辞层面进行泛化。

11.3 Scaling Law：效率的2.5倍跃升

图7给出了K3相对K2的Scaling Law对比。核心结论是：在相同计算预算下，K3的总体Scaling效率比K2高出约2.5倍。

什么是「Scaling效率」？简单说，就是每投入一单位FLOPs，模型性能提升多少。2.5倍意味着：如果K2需要100个计算单位达到某个性能水平，K3只需要40个计算单位就能达到同等水平。这是一个巨大的效率飞跃。

这个2.5倍从哪里来？不是单一因素，而是多项架构和训练决策的叠加效果：更宽的MoE（896个路由专家vs K2的384个）提供了更细粒度的知识路由，原生多模态训练消除了模态对齐的信息损失，Rephrasing提升了数据效率，Per-Head Muon改善了优化动态。每个改进单独看可能是10%-30%的效率提升，但它们之间有正向交互作用——更宽的MoE让Rephrasing的多样性表达更充分，Muon优化器让深层网络（93层）的训练更稳定——最终叠加出2.5倍的整体效率跃升。

11.4 学习率调度：Cosine Decay胜出

学习率调度器的选择看似是工程细节，实际上对大模型训练的最终性能有显著影响。K3对比了两种调度器：Cosine Decay（余弦衰减）和WSD（Warmup-Stable-Decay，升温-稳定-衰减）。

实验结论：在各自的最优超参数下，Cosine Decay一致优于WSD。这可能违反一些人的直觉——WSD看起来更灵活，为什么反而不如Cosine Decay？

11.5 架构跃迁：从K2到K3的每一项变化

Table 1完整列出了K2到K3的架构参数变化。这不是简单的「每项都加大」，而是有选择性的扩展：

仔细看变化倍率，你会发现扩展不是均匀的。上下文长度扩展了8倍（从128K到1M），这是最大的单项扩展；激活参数量扩展了3.19倍，大于总参数量的2.67倍——说明K3在MoE路由上做了更积极的激活（激活专家从8个增加到16个），让每个token利用更多的专家容量。LatentMoE维度从0变为3584，这是K3新增的组件，用0.5x的压缩比在路由前对隐状态做低维投影，降低路由计算的FLOPs开销。

激活函数从SwiGLU换为SiTU-GLU也值得注意。SwiGLU是当前MoE模型的主流选择，但SiTU-GLU在深层网络中表现出更平滑的梯度流动特性——这对93层的K3尤为重要，因为更深的网络对梯度消失/爆炸更敏感。

11.6 Per-Head Muon优化器：让每个头都有话语权

Muon是一种基于矩阵正交化的动量优化器。它的核心思想是：对动量矩阵做正交化后更新参数，这比传统的SGD动量在条件数差的问题上有更好的收敛性。但K3发现，直接对整个QKV投影矩阵做全矩阵正交化有一个问题：大尺度的头会支配更新方向。

直觉是这样的：在多头注意力中，不同头学到的特征尺度差异很大。某些头可能学到了非常强的模式（大的动量值），而其他头还在探索（小的动量值）。全矩阵正交化会把这些头混在一起处理，结果正交化后的更新方向被尺度大的头主导，尺度小的头几乎得不到有效更新。

Per-Head Muon的做法是：将QKV动量矩阵按头维度切分，每个头独立做正交化。数学上：

其中上标 (h) 表示第h个注意力头。这样每个头的更新尺度由自身的动量决定，不受其他头的影响。

其他超参数：权重衰减0.1贯穿全训练过程，线性预热（linear warmup）占前1%的训练步数。

11.7 四阶段上下文扩展：从8K到1M的课程

K3的上下文长度从8K一路扩展到1M，分四个阶段进行。这不是简单的渐进式增长，而是一门精心设计的课程（curriculum）：

为什么需要分阶段？因为长上下文训练的显存开销与上下文长度的平方成正比（自注意力的计算复杂度）。如果从第一天就用1M上下文训练，大部分显存会浪费在处理填充（padding）上——因为大部分训练样本远不到1M token。分阶段训练让你在短上下文阶段用高吞吐训练核心能力，只在最后阶段才为长上下文能力付出额外成本。

但分阶段扩展通常有一个头疼的问题：如果使用RoPE（旋转位置编码），扩展上下文需要对位置编码做缩放或插值，这会破坏已经学到的位置模式。K3的NoPE架构在这里发挥了关键作用：因为不使用显式位置编码，上下文扩展时不需要修改任何位置相关的参数，只需要调整注意力掩码和训练数据的长度分布。这使得阶段间的过渡完全平滑，没有任何「重新适应」的成本。

11.8 长上下文数据：清洗、上采样与合成

1M上下文的能力不是凭空出现的，它需要对应长度的训练数据来支撑。K3的长上下文数据管线包含三层处理：

• 去重与质量过滤（dedup & quality filtering）：原始长文档中存在大量重复内容（模板文字、版权声明重复等）和低质量内容（乱码、截断）。去重使用MinHash+LSH进行模糊去重，质量过滤使用轻量分类器打分后阈值截断。
• 上采样长文档（upsample long docs）：自然语料中长文档的比例远低于短文档，如果直接按自然分布训练，模型见到长文档的机会太少。上采样让长文档在训练中出现得更频繁，保证模型有足够的梯度信号来学长上下文能力。
• 合成多模态长文档：这是最关键的创新。K3通过排列（permuting）和拼接（concatenating）多模态文档来合成需要跨全文1M上下文进行信息检索的任务。例如，将若干篇图文交错的文章拼接成一个1M token的超长文档，然后在文档末尾放置一个需要综合前文多处信息才能回答的问题。这迫使模型学会在整个1M上下文范围内进行信息路由。

这里有一个精妙的设计：排列的随机性确保模型不能依赖固定的文档顺序来定位信息，而必须真正理解内容后进行检索。拼接的多模态性确保模型需要在文本和图像之间跨模态跳转。这种合成方式直接针对了长上下文的核心挑战——不是「能不能处理1M token」（这更多是工程问题），而是「能不能在1M token中精准找到需要的信息」。

12.1 全景：三阶段范式

K3的后训练流水线分为三个阶段：

• SFT（监督微调）：为复杂智能体任务扩展数据集，使用领域专精模型合成轨迹，引入XTML对话模板，从SFT阶段开始就启用QAT（量化感知训练）。
• RL（强化学习）：训练9个专家模型（3个领域 x 3个努力层级），使用Partial Rollouts和Per-Problem预算控制等新机制。
• MOPD（多教师在线策略蒸馏）：将9个专家的知识蒸馏到单一模型中。

这个三阶段范式和传统后训练的关键区别在于：传统做法是训练一个通用模型，在所有任务上折中平衡；K3的做法是先让9个专家各自做到极致，再用蒸馏将极致能力融合到单一模型中。这是一种「先分治、再统一」的策略，避免了单模型在多任务间的负迁移（negative transfer）。

12.2 SFT阶段：复杂智能体的数据工程

K3的SFT不是简单的「人工写答案、模型学答案」。它做了三件关键的事：

第一，为复杂智能体任务扩展数据集。传统SFT数据多为单轮问答，但K3的核心场景是长程智能体任务——需要在多轮交互中规划、执行、反思、修正。SFT数据必须覆盖这些长程行为模式。

第二，使用领域专精模型合成轨迹（synthesized trajectories）。某些领域（如代码调试、深度研究）的专家演示数据极其稀缺，K3的做法是用已经在该领域达到较高水平的专精模型来生成轨迹，再经过质量过滤后作为SFT数据。这是一种「模型教模型」的自举方式。

第三，从SFT开始就启用QAT。K3使用MXFP4权重和MXFP8激活进行量化感知训练，这意味着模型在SFT阶段就在低精度下优化参数，而不是训完后再量化——消除了训练-推理的精度不匹配。XTML对话模板也在SFT阶段引入，统一了多轮对话的格式标准。

12.3 RL阶段：九路专家的矩阵式训练

RL阶段的核心创新是3x3专家矩阵：3个任务领域 x 3个努力层级 = 9个专家模型。

三个领域的详细拆解：

• 通用任务（General Tasks）：涵盖经验、视觉、推理、忠实性、搜索和知识工作六类子任务。这是最广泛的域，覆盖日常使用场景。
• 通用智能体（General Agents）：长程助手、深度研究、写作三类任务。核心挑战是需要多步规划和工具调用，交互链路长，容易累积错误。
• 代码智能体（Coding Agents）：SWE（软件工程）、代码经验、Kernel优化、Web开发四类。代码是最可验证的领域，也是RL信号最干净的领域。

三个努力层级的设计动机是：不同的使用场景对延迟和质量的权衡不同。简单问题需要快速回答（Low Effort），复杂推理需要深度思考（High Effort），关键决策需要极致可靠（Max Effort）。通过Per-Problem预算控制（详见12.4节），K3能在训练中让同一个prompt的不同完成走向不同的努力层级，从而在推理时通过温度采样或路由选择合适的努力层级。

12.4 Partial Rollouts与Per-Problem预算控制

RL训练中有一个核心矛盾：样本效率和数据新鲜度不可兼得。如果你等所有轨迹都完成再更新模型，样本效率高但数据在等待中变得陈旧；如果你不等就更新，新鲜度高但大量未完成的轨迹被浪费。

Partial Rollouts（部分回放）的解决方案是：为N个prompt采样K个完成（共N*K条轨迹），在训练过程中动态管理这些轨迹——当比例lambda的轨迹完成时，暂停该batch的训练，在下一个迭代中恢复暂停的轨迹。这意味着单条轨迹可以跨越多个训练迭代，不存在「未完成就丢弃」的浪费。

但跨迭代的轨迹引入了新问题：数据陈旧性（data staleness）。一条轨迹开始时的模型参数是theta_t，但到它完成时模型已经更新到theta_{t+k}，用旧策略生成的数据来更新新策略是有偏的。K3通过逐token正则化来处理：对每个token施加一个重要性权重（importance weight），校正策略偏移带来的分布偏差。

Per-Problem预算控制是另一个精巧的机制。核心思想：不同问题的难度不同，应该分配不同的token预算。预算的确定方式是：先用冷启动模型估算每个问题x的基础预算b0(x)，然后在训练中监控实际token消耗T(y)。如果T(y)超过tau * b0(x)，强制将奖励设为-1（惩罚），从而阻止模型在难题上无限制地消耗资源。

tau的调度是一个课程学习过程：先用大的tau（宽松预算），训练high-effort和max-effort专家；再逐渐缩小tau（收紧预算），训练low-effort专家——因为low-effort专家需要在有限预算内给出尽可能好的回答。这种从宽松到严格的预算退火让模型先学会「做到最好」，再学会「在约束下做到最好」。

12.5 Agentic GRM：锦标赛裁判

传统的奖励模型（Reward Model）给每个回答打一个绝对分数，但绝对分数在不同问题之间不可比，而且容易受到长度偏差的影响。K3使用了Agentic GRM（生成式奖励模型），采用锦标赛式二值比较：

这个「强制协议」的设计是关键——它要求GRM必须走完「读->想->评->记」的完整流程，不能跳步。这类似于要求法官必须写判决书——你不能只给结论不给理由，理由的书写过程本身就是一种正则化，防止GRM走捷径。

此外，Agentic GRM还有基于预算的冗长惩罚（Budget-Based Verbosity Control）：如果候选回答的token数超过sigma * l0（其中l0是问题的参考长度估计），该候选直接判负。这从根本上解决了奖励模型常见的「长回答得高分」偏差。

12.6 MOPD：九师归一

9个专家训好了，怎么合成一个模型？简单的方法是加权平均，但这丢失了专家之间差异化的知识。K3采用MOPD（多教师在线策略蒸馏），让9个专家同时作为教师，通过在线策略蒸馏将知识注入一个学生模型。

MOPD的核心是逐token OPD奖励：

解读这个公式：对于每个token y_t，计算教师模型和政策模型在该token上的对数概率差，停止梯度（sg，stop gradient）作用于教师一侧确保梯度只更新学生，clip到[-R_max, R_max]防止单个token的蒸馏信号过大导致训练不稳定。

这个逐token的密集奖励可以直接集成到RL框架中——它和任务奖励（来自Agentic GRM）是同一种形式，都是在每个token上提供标量信号。这意味着蒸馏过程不需要额外的训练阶段，而是融合在RL训练中同步进行。9个教师的OPD奖励可以取平均或取最大值，K3选择了取平均——让所有教师的声音都被听到，而不是只听最自信的那一个。

12.7 MXFP4 QAT：全程低精度训练

量化感知训练（QAT）在K3中不是训练后加的补丁，而是从SFT第一天就贯穿始终的设计决策。K3的量化方案：

• MoE专家权重：MXFP4（4-bit浮点，每块共享指数）
• 激活值：MXFP8（8-bit浮点）
• 非专家组件（注意力、LayerNorm等）：更高精度

这个分层精度策略的直觉是：MoE专家占了绝大部分参数量（2.78T中的约90%），4-bit量化带来的显存和带宽节省最大；而非专家组件参数量小但对精度更敏感（如LayerNorm的缩放参数），保持高精度的额外开销可忽略。

最关键的一点是：rollout（推理）和训练使用完全相同的量化。这消除了传统QAT的「训练-推理不匹配」问题——传统做法是训练用FP32，推理时量化，导致推理时的舍入行为在训练中从未见过。K3让模型在训练中就活在4-bit的世界里，推理时不需要任何适应。

12.8 EAGLE-3推测解码：三层特征喂草案模型

推理加速的另一条路线是Speculative Decoding（推测解码）：用一个小模型（草案模型）快速生成多个候选token，再由大模型（目标模型）并行验证。K3使用EAGLE-3作为草案模型。

EAGLE-3的架构基于预训练的MTP（Multi-Token Prediction）层进行微调，目标模型完全冻结。它的独特之处在于输入特征的三层设计：

• 低层特征：来自第1个AttnRes（注意力残差）块——捕捉浅层模式
• 中层特征：来自第4个AttnRes块——捕捉中等抽象的模式
• 高层特征：来自最后一个AttnRes块——捕捉深层语义

这三层特征让草案模型同时看到低级和高级的表征，就像一个助手在写草稿时，既能参考原始素材（低层），也能理解核心论点（高层），还能把握行文节奏（中层）。

训练目标是LK损失——负对数接受率：

训练时使用7步草案——即草案模型每次生成7个token后由目标模型验证。这个数字是速度和准确率的权衡：步数太少加速比不够，步数太多后期token的接受率下降导致浪费。

12.9 RL任务合成：七类战场

RL训练的效果取决于任务的质量和多样性。K3设计了七类任务合成策略，覆盖从代码到助手到自主执行的完整光谱：

第一类：统一白盒RL环境。智能体的装备带（harness）被设计为可配置模块——工具接口、系统提示、上下文管理、技能、记忆、子智能体。通过不同配置可以实例化多种智能体框架：Kimi Code、Claude Code、Codex、OpenClaw、Hermes。这意味着RL训练不再依赖单一环境，而是在多种智能体框架下都能获得经验。

第二类：知识图谱引导的任务合成。Self-evolving hierarchical knowledge graph（自进化层级知识图谱）是任务合成的导航器。智能体通过网络探索扩展知识图谱，然后在不同粒度上采样节点来指导材料检索和任务生成。这确保了任务的覆盖面和难度梯度——知识图谱的层级结构自然提供了从易到难的任务路径。

第三类：可验证问题。多步信息检索、专业工作（投行分析、数据分析、法律）、多步视觉推理（配合Python沙箱验证）——这些任务有客观正确的答案，RL信号零噪声。

第四类：Kernel优化任务。这是最硬核的代码任务：CUDA/Triton/CuTeDSL/Gluon/ThunderKittens/TileLang六种框架，BF16/FP8/FP4三种精度。奖励 = 正确性 + 相对专家实现的性能比。还专门设计了黑入检测系统（hacking detection），防止模型通过作弊（如硬编码输出、绕过计算）来获取高奖励。

第五类：个人助手任务。模拟Gmail/Notion/Slack/Canvas环境，构建持久化演化的环境——环境跨越多个模拟天数持续变化，单个任务可能涉及数千次工具调用和数百万上下文token。这测试的是智能体的持久性和长期记忆能力。

第六类：自主执行任务（AET，Autonomous Execution Tasks）。最接近AGI测试的任务类型：智能体只看到目标、约束和验证函数，没有参考轨迹。黑盒系统复制、量化因子发现、税务审计——模型必须自己探索解法。验证在回路中（verify-in-the-loop）：每一步都可以运行验证来检查进度，但不给任何关于如何达到目标的提示。

第七类：Web开发任务。专家策划的题目集，容器化沙箱执行，多样化脚手架，确定性检查加模型评判的双重验证，构建失败直接零分。

13.1 三道系统难题

K3的架构选择带来了三道独特的系统工程难题，它们环环相扣，缺一不可：

这三道难题不是独立的——KDA的递推状态需要特殊的上下文并行策略，而MoE的均衡又受KDA注意力模式的影响。K3的解决方案是算法-系统协同设计：不是先定算法再做系统，而是两者同步迭代，让每一层设计都为对方留出优化空间。

13.2 FlashKDA：为递推注意力定制的内核

FlashKDA是K3为KDA注意力写的专用CUDA内核，基于CUTLASS框架实现。它的核心创新是分块递推+流水重叠：

实测中，FlashKDA比Triton参考实现快出显著幅度。原因不仅是CUTLASS的底层优化，更在于流水重叠消除了状态传播的等待时间——在标准实现中，每个块必须等前一块状态就绪才能开始，形成串行瓶颈；FlashKDA通过精心安排SM调度，让计算和数据传输同时进行。

13.3 设备内与跨设备上下文并行

K3面对的超长序列（百万token级别）远超单卡显存容量，必须做上下文并行（Context Parallelism, CP）。但KDA的递推状态让标准CP方案失效——你不能简单地把序列切成N段分给N张卡，因为每段的初始状态取决于前面所有段。

13.3.1 设备内CP：单卡多SM并行

设备内CP的思路是：在单个rank的多个SM之间分配序列段。每段独立评估段内转移，然后合并以恢复初始状态。关键优势是零跨设备通信——所有段都在同一张GPU上，状态传递通过片上共享内存完成。

13.3.2 KDA上下文并行（KCP）

跨设备的KCP更复杂。K3的核心观察是：KDA递推效应可以分解为两个分量——

其中 M_i 是累积转移矩阵，Ŝ_i 是局部状态估计。这种分解使得跨设备的通信变成了前缀扫描（prefix scan）+ all-gather操作：

1. 每个rank计算本段的 T_i 和 local_i
2. 通过前缀扫描聚合所有rank的 M_i
3. All-gather广播结果，每个rank恢复完整状态

13.4 KDA投机解码的状态难题

投机解码（speculative decoding）是加速推理的常用手段：先用小模型猜多个token，再用大模型并行验证。但KDA的递推状态在这里出了问题——

标准KDA解码是原地更新（in-place update）：每生成一个token，就把新状态覆盖到旧状态上。这在自回归解码中没问题，因为token是逐个确认的。但在投机解码中，如果大模型拒绝了小模型的猜测，你必须回滚到猜测之前的状态。原地更新意味着旧状态已经被覆盖了，回滚不可能。

为什么缓存投影输入比缓存状态更省空间？因为KDA的递推状态 S 的维度是 d_model × d_state，而投影输入 z_proj 的维度只有 d_proj（其中 d_proj ≪ d_model）。缓存前者意味着每个token要占用 d_model × d_state 个浮点数，后者只需 d_proj 个——差距可达数十倍。

13.5 MoonEP：完美均衡的专家并行

3T参数的MoE模型必须做专家并行（Expert Parallelism, EP），但MoE的天生问题是不均衡——不同token可能涌向不同的专家，导致某些GPU过载而另一些空闲。K3的解决方案是MoonEP，核心思想是引入冗余专家来实现完美均衡。

MoonEP的在线规划通过GPU内核实现，实时计算最优冗余分配。还有几项关键优化：

• 零拷贝通信：冗余专家的参数通过NCCL的零拷贝机制传输，避免额外显存分配
• 同步无关执行：静态形状（static shapes）使得每层的计算图在编译期确定，无需逐层host同步
• 负载感知GEMM调度：根据每个rank的实际负载动态调整GEMM内核的调度顺序

13.6 统一激活管理器与显存优化

3T参数模型的训练瓶颈往往不是计算，而是显存。K3设计了统一激活管理器（Unified Activation Manager），提供三种可插拔的存储策略：

管理器根据每层的特性自动选择策略：计算密集层适合重计算，通信密集层适合卸载，精度敏感层用量化。此外还有几项MoE特有的显存优化：

• MoE反向梯度改写：标准MoE的反向传播需要保存专家路由的中间结果来计算梯度，K3改写了梯度公式，消除了这个依赖
• Block AttnRes检查点：用检查点包装替代逐块存储，增量块传输减少峰值显存
• PipelineZeRO-2：将梯度分片卸载到CPU，释放GPU显存给激活
• P2P Muon正交化：优化器状态通过点对点通信完成正交化，避免全局同步

13.7 多模态编码器的动态上下文并行

图像和视频的token数量差异极大——一张低分辨率图片可能只有几百token，而一段高帧率视频可能产生数十万token。K3为多模态编码器设计了动态上下文并行（Dynamic CP）：根据输入的实际token数量动态调整CP的度数。

另一个精妙的优化是在流水线气泡中做ViT计算。流水线并行（PP）天然会产生气泡——在等待其他rank完成时，GPU空闲。K3让前几个微批次（micro-batch）的ViT前向在气泡中同步执行，剩余微批次则插入到PP气泡里异步执行。这样ViT的计算几乎「免费」，不增加额外时间步。

13.8 百万级Agent RL基础设施

K3的RL训练需要同时管理数千个沙箱环境，每个环境执行一个agent任务，上下文长度可达百万token。这带来了两个核心问题：显存不够放KV缓存、沙箱调度影响吞吐。

13.8.1 外部KV缓存池

K3采用写回式（write-back）KV缓存池：活跃的KV块留在GPU上，空闲的前缀块卸载到CPU DRAM。KDA的递推状态与MLA的KV块一起被卸载——因为KDA状态是压缩过的（维度远小于原始KV），额外开销很小。

13.8.2 沙箱调度与资源复用

K3的沙箱基于Firecracker微虚拟机，支持暂停/恢复/快照/分支，启动时间亚秒级，内存超配6.5倍。整个训练过程共创建了5100万个沙箱，横跨150万次镜像。

调度层面的关键设计：

• Rollout自动节流：根据运行时信号（GPU利用率、内存压力、网络带宽）动态调整并发rollout数量，避免资源争用导致整体吞吐下降
• 梯度缓冲区复用：参考模型的权重由策略模型的FP32梯度缓冲区背书，避免额外显存分配

13.9 KDA前缀缓存与高效内核

推理服务中，长上下文的KV缓存复用是提升吞吐的关键。K3设计了KDA感知的前缀缓存，统一了KDA状态和MLA KV缓存的页面布局。

核心创新是哈希块与物理块解耦：

• 哈希块：512个token为一个哈希单元，用于快速匹配
• 物理块：6144个token为一个物理存储单元

两级查找流程：

1. MLA路径：先匹配物理块（6144-token粒度），再在块内匹配哈希端点（512-token粒度）
2. KDA路径：必须在哈希端点处有检查点（checkpoint），因为KDA状态的恢复点只存在于稀疏的端点位置

这种设计的优势是：KDA的缓存命中可以发生在任意512-token边界上，而不是被强制对齐到6144-token的物理块边界。一个百万token的请求，可能90%的前缀都在缓存中，只需要从某个512-token边界开始重新计算。

13.10 高性能内核集锦

K3的推理优化还包括一系列定制内核：

• KDA解码内核：投影输入缓存 + 单次融合内核，一次调用完成投影、状态更新、注意力计算
• Block AttnRes内核：预填充阶段用序列并行（SP），解码阶段用侧流（side stream）并行
• Stable Latent MoE内核：融合下投影与路由、多记忆存储、WarpDecode小批量优化

13.11 缓存感知的舰队调度

K3的推理集群使用缓存感知亲和调度（Cache-Aware Affinity Scheduling）：通过一致性哈希将请求路由到最可能持有其前缀缓存的节点。每个请求有一主一备两个候选节点，主节点优先调度。此外，还有基于预算的准入控制（Budget-Based Admission Control），为不同请求类别分配独立的资源预算，防止长上下文请求挤占短请求的资源。

14.1 主评估结果总览

K3在论文表2中报告了五大维度的综合评估，对标五个竞品模型：Claude Fable 5、GPT-5.6 Sol、Claude Opus 4.8、GPT-5.5、GLM-5.2。核心结论：

但这只是表面数字。深入每个维度，故事更加微妙：

14.2 推理能力：硬核推理的差距

在GPQA Diamond上，K3拿到93.5%，这是一个令人印象深刻的数字——它是研究生级别的专家问答，涵盖物理、化学、生物等领域。但真正的硬核测试是HLE-Full（Humanity's Last Exam），这个benchmark专门收集了研究前沿的难题，连人类专家的正确率都不高。

关键观察：K3在HLE-Full上给工具后提升了12.5个百分点（43.5% → 56.0%），说明它的推理瓶颈部分在于「没有合适的工具」而非「逻辑能力不足」。但CritPt只有23.4%，距离领先者差距较大——CritPt专门测量模型对「关键转折点」的识别能力，即在一长串推理中准确找到决策分叉点。这暗示K3在需要深度反思和自我纠错的推理链中还有提升空间。

14.3 编程能力：实战代码的胜利

编程是K3表现最抢眼的维度之一，多项指标达到或接近最佳：

• ProgramBench 77.8%：所有模型中最高，这是综合性编程benchmark
• SWE-Marathon 42.0%：比Claude Fable 5高出7个百分点，这是长时间跨度的真实软件工程任务
• Terminal-Bench 88.3%：几乎追平GPT-5.6 Sol的88.8%，测试终端命令行操作能力
• DeepSWE 67.5%：深度软件工程理解
• FrontierSWE 81.2%：第二，仅次于Claude Fable 5的86.6%

值得特别关注的是SWE-Marathon。这个benchmark的任务不是写几行代码，而是需要模型理解整个代码库的架构、定位跨文件的bug、设计并实施修复方案——每个任务可能涉及数十个文件的修改。K3在此领先CF5达7个百分点，说明它在长时间跨度的代码理解上具有独特优势，很可能得益于KDA带来的超长上下文处理能力。

14.4 智能体能力：开放式任务的统治力

智能体（Agentic）评估是K3最突出的维度，多项指标达到最佳：

• BrowseComp 91.2%：所有模型中最高，测试浏览和信息检索能力
• DeepSearchQA 95.0% F1：深度搜索问答
• MCPMark 94.5%：工具调用规范
• Swarm Bench 76.3%：多智能体协作

但GDPval-AA Elo 1686排名第三，AA-Briefcase 1548排名第二——在需要高度自主决策的开放式任务中，K3略逊于GPT-5.6 Sol和Claude Fable 5。这暗示K3在「需要在多种策略间做判断」的场景中仍有差距，可能与CritPt的低分同源——两者都涉及「决策转折点的识别」。

14.5 视觉能力：文档理解强，世界理解弱

K3的视觉能力呈现出有趣的分裂：

• OmniDocBench 91.1%：最佳，文档图像理解能力顶级
• Math-Vision 94.3%/97.8%（+Python）：强，给工具后进一步提升
• ZeroBench 23.0%/41.0%：与Claude Fable 5并列
• WorldVQA 51.0%：第二名，但绝对分不高

14.6 内部评估与第三方验证

论文报告了KCB 2.0（Kimi内部代码benchmark）和第三方评测的结果：

第三方验证更具说服力：

• Artificial Analysis：Intelligence Index v4.1 = 57.1，排名4/580（如果把GPT-5.6 Sol的变体算作一个，则排第3）
• ValsAI：Vals Index 74.7%，排名2/39
• WebDevArena：Elo 1678，排名1/99——首个登顶的开放模型
• TextArena：Elo 1486，排名8/200
• AgentArena：9.1分，排名4/37

14.7 网络安全：双层级评估

K3的安全评估采用了双层级设计：

Tier 1 - 漏洞发现：K3发现的漏洞约70%被确认是真实的，其中16个是此前未知的漏洞，横跨6个项目。最惊人的发现包括Linux内核的堆越界写入和RDMA中类似Dirty-COW的漏洞——这些都是高质量的安全研究成果。

Tier 2 - 漏洞利用开发：K3完成了36个任务中的14个（38.9%），而GLM-5.2只完成了8个（22.2%）。14个成功利用中，10个来自用户态。UK AISI和NIST的联合评估中，K3在ExploitBench上得分32%，GLM-5.2得分24%。

14.8 成本效率：性价比的杀手锏

如果说K3的性能是「准一流」，那么它的成本效率就是「超一流」：

这个成本优势的来源是什么？首先，K3是3T参数的MoE模型，激活参数远小于3T，推理时每token的计算量只有稠密模型的一小部分。其次，MLA压缩和KDA前缀缓存大幅降低了KV缓存的显存占用和通信开销。第三，K3的推理基础设施（缓存感知调度、高效内核）提升了硬件利用率。

14.9 案例研究：七个真实的「压测」

论文的第七节展示了七个案例，它们不是精心挑选的demo，而是K3在真实场景中的压力测试。每个案例都展示了K3在长时间、高复杂度任务中的能力。

14.9.1 GPU内核优化

K3被要求优化K3自身的推理内核——这是一个「自己优化自己」的元任务。结果：AttnRes延迟从283.6ms降到114.4ms，降低60%。此外，DSA（动态稀疏注意力）降低55.1%，KDA降低73.6%，MLA利用率超过峰值TFLOPS的一半。这个结果匹配了Claude Fable 5，超越了Opus 4.8和GPT-5.6 Sol。

14.9.2 MiniTriton编译器

K3从零编写了一个紧凑的类Triton编译器，包含Python前端、MLIR中间层和PTX代码生成。这个编译器的张量核心矩阵乘法达到了cuBLAS约90%的性能，能够端到端训练GPT模型。更有趣的是，它的KDA预填充内核击败了Triton的参考实现——这与第13章FlashKDA的动机一致，说明K3「理解」了KDA的计算模式，能自动生成高效的内核代码。

14.9.3 芯片设计（nano-kpu）

这是最令人惊叹的案例之一：K3自主设计了一款推理芯片原型，遵循K3自身的架构（混合KDA+NoPE-MLA，Block AttnRes块大小2，sigmoid MoE）。整个设计过程在48小时内自主完成，无需人类干预。最终结果：100MHz主频，8700 tokens/s吞吐，1.46M单元，0.277MiB SRAM，INT4 MAC阵列。

14.9.4 天体物理研究（I-Love-Q）

K3被要求研究中子星的状态方程（EoS），这是核物理的前沿问题。K3在约2小时内完成了：审阅20+篇论文，分析300+个EoS模型，编写3000+行Python代码，生成交互式HTML仪表盘。同样的工作，人类研究者需要1-2周。

I-Love-Q是中子星物理中的三个可观测量（惯量I、潮汐形变Love、四极矩Q）之间的普适关系。K3不仅复现了已知结果，还生成了可交互探索的数据可视化，研究者可以直接在浏览器中调整参数观察EoS对I-Love-Q关系的影响。

14.9.5 AI ASIC研究网站

K3构建了一个覆盖42年AI芯片产业的研究网站。过程：120+轮精炼，87份季度报告，99个PDF（11000+页），2800+次网络搜索，1100+次终端查询。这个案例展示了K3在超长时间跨度任务中的坚持——120轮精炼意味着它不断自我审视和改进，而不是一次性生成就停止。

14.9.6 引力波分析

K3分析了391个GWTC-5目录中的引力波事件，协调20+个并发子智能体，生成了7个可视化图表和2个数据表，综合了10+篇论文的结果。并发子智能体的协调是关键——每个子智能体负责不同类型的分析（参数估计、天体物理推断、统计检验），K3作为总调度确保它们不冲突、不遗漏。

14.9.7 3Blue1Brown风格视频

K3生成了一个关于自身架构的动态图形解说视频：从56个片段中剪辑，运动匹配剪辑（motion-matched cuts），节拍同步（beat sync）。对一位经验丰富的视频编辑者来说，这类作品通常需要1-2天。K3的能力表明，它不仅能处理文本和代码，还能理解和生成时间序列的多媒体内容。

14.10 综合反思：K3的真实位置

回到本章开头的核心问题：K3到底有多强？综合评估和案例，答案可以这样概括：

K3是一个在性能-成本平面上占据了独特位置的模型。它不是最强的——在推理深度和自主决策上，Claude Fable 5和GPT-5.6 Sol仍领先。但它以远低于后者的成本提供了接近的性能，在编程、智能体和文档理解上甚至超越了某些闭源对手。七个案例则证明，这种能力不是benchmark上的数字游戏——K3在真实的研究和工程任务中确实能产出有价值的成果。

更重要的是，K3是开放权重的。这意味着它的能力可以被任何人部署、审计和改进。WebDevArena上的登顶不仅仅是一个排名——它证明了开放模型在用户盲评中可以达到闭源模型的水平，这为整个开源社区提供了一个重要的存在性证明。