Qwen3论文阅读

1、核心架构改进：

1）注意力机制：

采用了 GQA (Grouped Query Attention) 以提高推理效率

什么是GQA注意力机制？

介于传统的多头注意力机制以及极简的MQA注意力机制之间，目标为平衡生成速度以及模型精度

首先我们先看一看多头注意力机制以及多询注意力机制的区别

MHA (Multi-Head Attention): 每个 Query (Q) 都有对应的 Key (K) 和 Value (V)。虽然效果最好，但在推理时需要缓存大量的 KV 状态（KV Cache），导致内存占用高，推理速度慢。

MQA (Multi-Query Attention): 所有的 Q 共享同一组 K 和 V。这极大地减少了内存占用和数据传输，速度极快，但由于表达能力大幅下降，模型性能（准确度）通常会受损。

GQA：把query分成若干组每一组共享KV

详细的计算流程：

假设我们输入一个128length的token序列，模型中存储了一个计算query的矩阵Wq，大小为[512,512],X x Wq = Total_Q,得到一个[128,512]的结果，后续在物理上计算结束后，会将512维切位8份，每一份即为[128,64]于是就得到了8个query

若分为两组那么每四个query为一组，共享一个KV。

2）RMSNorm

RMSNorm 是标准 LayerNorm（层规范化）的一种简化变体，旨在提高计算效率

节省计算开销

此外还采用了前置规范化

后置规范化（post-norm）：

先做子层操作（如 Attention 或 FFN）并与输入相加，最后整体做一次 Norm。

前置规范化 (Pre-Norm)：

输入先经过 Norm，然后再进入子层操作，最后将结果加回原始输入。

3）SwiGLU激活函数：

传统的激活函数如下所示

SwiGLU 的核心改进是将 GLU 中的 Sigmoid 函数替换为 Swish 激活函数。

在 Qwen3 的 Transformer 块中，前馈网络（FFN）层利用 SwiGLU 进行非线性变换，计算逻辑由三个矩阵组成Wgate，Wup，Wdown，SiLU为Swish函数

门控分支：当x小于0时，SiLU激活函数迅速将其切断，变为0，切断其向下传递的渠道

QK-Norm：在进行注意力计算时，对Q和K进行归一化（防止注意力瘫缩）

对Q和K进行归一化的方法：对每个矩阵的每个向量进行归一化，在训练过程中，必须要使用半精度来节省显存，所以进行归一化恢复对向量的敏感并且防止数据溢出。

2、后训练pipeline

整体的结构如下所示：

旗舰模型采用四阶段的后训练模式，前面两个阶段注重思考推理，后面的阶段注重非思考能力

1）长思维链冷启动阶段（long-CoT Cold Start）

采用qwen2.5-72B进行数据清洗，剔除掉不需要思考可以直接回答的问题

冷启动的作用：

建立初始模式：通过精选的子集进行初始训练，旨在模型中植入基础的推理模式。

为 RL 留白：训练时故意不追求极端的推理表现，以防模型产生路径依赖，从而为后续强化学习（RL）阶段留出更大的改进空间和灵活性。

极简主义：在冷启动阶段，倾向于最小化训练样本数和训练步数，保持模型的“潜力”

2）推理强化学习阶段（Reasoning-RL）

采用GRPO的强化学习策略进行训练

训练策略：

使用大 Batch Size（大批次）和高 Rollouts（每个问题生成多个答案）。

使用 Off-policy（离线策略）训练来提高样本效率。

通过控制**熵（Entropy）**来平衡“探索”与“利用”，防止模型过早陷入局部最优。

3）通用强化学习阶段（general rl）

奖励函数的设计：

4）强对弱蒸馏（Strong-to-Weak Distillation）

stage1:离线蒸馏

将大模型的答案直接喂给小模型进行训练，相当于直接是sft阶段监督训练。

stage2:在线蒸馏

让小模型自己针对某个问题生成回答（On-policy）。与此同时，让更强大的老师模型（如 Qwen3-235B）也针对同样的问题给出一个输出概率分布，计算 KL 散度（KL Divergence）：通过数学手段缩小“学生”和“老师”在逻辑预测上的差距（对齐 Logits）。