Qwen3 的技术报告。挑一些我个人觉得有意思的点分享一下：
预训练数据量惊人：
总共用了约 36 万亿 token！来源也很多样，
- Qwen2.5-VL 模型从海量 PDF 提取文本，
- 还有专门的 Qwen2.5-Math 和 Qwen2.5-Coder 模型合成数学和代码数据。
三阶段预训练策略很清晰：
- S1 通用阶段：超 30 万亿 token 打底通用知识 (覆盖119种语言，序列长度4k)。
- S2 推理阶段：约 5T 高质量 token 强化推理 (STEM, code，序列长度4k)，这阶段还加速了学习率衰减，据说是为了保护S1成果，提高收敛，防过拟合。
- S3 长上下文阶段：几千亿 token 把上下文从 4k 扩展到 32k (75%是16k-32k数据，25%是4k-16k)。技术上用了 RoPE (base freq 10k->1M) + ABF + YARN + DCA。
SFT 阶段搞了个 "Thinking Mode Fusion"，挺有意思的：
- “思考”数据用 Stage 2 模型自己拒识采样，“非思考”数据精挑细选。
融合后，模型能处理不完整思考，这为「思考预算控制」打下基础，而且这个能力据说是自然涌现的！ - 当思考 token 超限，就手动插入特定指令+ </think>，模型基于已有思考给答案。
- 默认开启思考模式（训练数据里加了不带 /think flag 的推理样本）。保留空思考块 <think></think> 不仅保证格式一致，开发者也能手动避免模型思考。
蒸馏表现优异！ 报告明确说蒸馏比直接 RL 效果和成本都好。Qwen3 小模型蒸馏分两步：
- 离线蒸馏：教师模型（带/think和不带/think模式）的输出直接微调学生模型，打下推理和模式切换基础。
- 在线蒸馏：学生模型生成序列，然后其 logits 与教师模型（Qwen3-32B 或 Qwen3-235B-A22B）对齐，最小化 KL 散度。
MoE 架构调整：
- Qwen3-MoE 去掉共享专家 (unlike Qwen2.5-MoE)
- 引入了 global-batch load balancing loss 来提升专家专业度。
数据配比精细化：
- 不再是粗犷的按数据源/领域调，而是用细粒度标签+小模型消融实验，在样本级确定实例和权重。
- 在数据处理上面做的真细致。
推理冷启动数据处理很细致：
- Query 过滤：用 Qwen2.5-72B-Instruct 过滤不易验证（如含多子问题、通用文本生成）和简单问题（72B无需CoT就能答对的），并打标保证领域平衡。
- Response 生成与过滤：
QwQ-32B 生成候选答案，人工评估答错的。
再按6大规则（答案错、重复、明显猜测、思考与答案不一致、语言混杂、与验证集相似）过滤。 - 目标是教模式，不是追求立竿见影，所以样本和训练步数都尽量少。
RL 阶段数据选择四原则：
- 不用冷启动数据、冷启动模型可学、有挑战性、覆盖广（最终选了3995对）。
- 用了 GRPO，大 batch size + 高 rollout + off-policy 提升效率。
奖励模型也搞了三种：规则（精确防 hacking）、模型打分（带参考答案，更灵活）、模型直接打分（基于人类偏好，无需参考答案，提参与度和帮助性）。覆盖 20+ 任务，每种都有定制打分规则。
其他零散但有意思的点：
- 增加翻译任务提升小语种能力。
- 超参用 scaling laws 根据模型架构、数据、阶段预测最佳 LR 和 batch size，不同模型代入公式就行。
- “思考使用的 token 越长，效果越好”。
image.png
