Glen Li's Gallery
站点导航
模型工程 WIKI
← 返回书架人工智能 · 交互式 Wiki
模型工程/蒸馏与合成数据资料与边界
微调与后训练进阶专题讲解

MODERN AI / TEACHERS & DATA

Teacher、蒸馏与合成数据

Teacher 指模型在学习流程中提供监督的角色。教师可以给出概率分布、输出序列、偏好分数或验证结果；这些信号决定学生学习的目标。

01 / ROLES

同一个教师，可以干四种不同的事

角色产出学生/系统如何使用使用条件
示范生成器回答、推理、工具轨迹或改写。过滤后做序列 SFT，标签仍是 token。教师输出仍需核验；学生从输出序列中学习行为模式。
软标签教师同一上下文、同一候选空间的 logits / probabilities。KL / cross-entropy 匹配分布。不同 tokenizer 的词表索引不能直接逐项做 KL。
Judge / reward model评分、偏好对、步骤评价。筛选、排名、偏好训练或 RL。检查评分中的长度、格式和同源偏差，并用外部事实或独立评估复核。
Verifier测试、约束或答案校验结果。接受/拒绝候选，或作为训练 reward。可使用规则、测试或模型；需明确验证器覆盖的情况。
02 / SOFT TARGETS

软标签为什么比一个正确 ID 多一些信息？

一个 hard label 只指定正确类。教师分布还描述其他候选的相对倾向；这些倾向可能携带有用关系，也可能携带教师偏差。

pteach(T)=softmax⁡(zteach/T),pstud(T)=softmax⁡(zstud/T),L=(1−λ)CE⁡(y,pstud(1))+λT2DKL ⁣(pteach(T) ∥ pstud(T)).\begin{aligned} p_{\mathrm{teach}}^{(T)}&=\operatorname{softmax}(z_{\mathrm{teach}}/T),\\ p_{\mathrm{stud}}^{(T)}&=\operatorname{softmax}(z_{\mathrm{stud}}/T),\\ \mathcal L&=(1-\lambda)\operatorname{CE}(y,p_{\mathrm{stud}}^{(1)})\\ &\quad+\lambda T^2D_{\mathrm{KL}}\!\left(p_{\mathrm{teach}}^{(T)}\,\|\,p_{\mathrm{stud}}^{(T)}\right). \end{aligned}
T 是蒸馏温度，λ 是软标签目标权重；上标 (T) 标记所用温度。hard-label 项仍用 T=1。这里假设教师与学生在同一候选空间逐项对齐。
KL 在匹配什么？为什么要有 T²？
DKL(p∥q)=∑jpjlog⁡pjqjD_{\mathrm{KL}}(p\|q)=\sum_jp_j\log\frac{p_j}{q_j}
教师 p 固定时，Σp log p 对学生是常数，因此最小化这个方向的 KL，和对教师软标签最小化交叉熵有相同的学生梯度；二者 loss 数值不同。
Lsoft=T2DKL ⁣(pteach(T)∥pstud(T)),∂Lsoft∂zstud,j=T(pstud,j(T)−pteach,j(T)).\begin{aligned} \mathcal L_{\mathrm{soft}}&=T^2D_{\mathrm{KL}}\!\left(p_{\mathrm{teach}}^{(T)}\|p_{\mathrm{stud}}^{(T)}\right),\\ \frac{\partial\mathcal L_{\mathrm{soft}}}{\partial z_{\mathrm{stud},j}} &=T\left(p_{\mathrm{stud},j}^{(T)}-p_{\mathrm{teach},j}^{(T)}\right). \end{aligned}
softmax 温度带来 1/T 的链式因子，概率差本身也随 T 改变。高温近似下，未补偿的梯度常按约 1/T² 缩小，经典配方用 T² 补偿；不同 T 下的梯度仍会随概率差变化。

温度与软标签

固定四类 logits，未训练学生

教师 logits [4,2,1,0]；学生 [1.4,1.2,0.7,0.2]。这里 A/B/C/D 是抽象候选，不代表真实 tokenizer。

教师最大概率
KL(T || S)
T² · KL

温度高时分布更软，较低概率的类别更可见。T² 是经典蒸馏配方的梯度尺度补偿，不意味着所有配方必须如此；部署通常回到自己的采样温度。

教师固定，不反传；学生拿到分布误差再沿自身网络反传。离线缓存 logits 节省教师重复计算，但词表很大，存储与 I/O 可能昂贵。只缓存 top-k 要说明截断、剩余概率和归一化，明确截断分布与完整分布的差异。

03 / SEQUENCE DISTILLATION

只有教师文本，仍然可以蒸馏

序列蒸馏把教师生成的回答或 CoT 当成监督样本，学生在教师序列的真实前缀上做 CE。可以跨 tokenizer，因为教师文本会由学生重新分词；这与逐 token logits 蒸馏是不同目标。

这种训练让学生学习教师在所采样问题上的输出模式。教师与学生可以采用不同规模和结构；迁移效果需要按任务测试。教师在一个任务上更强、学生通过领域专门化在局部超越教师，两者并不矛盾；比较必须固定任务与推理预算。

01 / COVERAGE

定义任务配比

按领域、难度、长度、语言和工具类型组织 prompt；避免只扩写相近模板。

02 / GENERATION

多样化生成

固定教师 revision、模板、采样参数与预算，保存输出和状态。

03 / FILTERING

验证与去重

格式、可执行结果、事实依据、重复簇、污染与人工抽查。

04 / STUDENT

训练与回归

混合可信数据，按切片检查迁移；把失败案例反馈到数据设计。

04 / DATA QUALITY

合成数据的覆盖、筛选与重复

保留率需要结合样本分布

一个筛选器保留 20% 数据，可能提纯，也可能只留下最容易题。报告难度/语言/来源的保留率，抽查被删除的样本，并以训练消融检验收益。

分别检查答案与推理步骤

只看最终答案的 verifier 无法给整条 CoT 作真值背书。可执行中间步骤、过程检查与多解法对照提供更强证据，但成本更高。

闭环放大共同偏差

同一个模型负责出题、作答、判分，容易强化自身盲点。加入独立来源、隐藏测试、人工复核与真实分布样本，模型投票的结果也应通过这些独立证据复核。

递归生成中的分布退化

递归替代真实分布、丢失尾部和过滤偏差可能导致退化；混合、覆盖和验证得当的合成数据也可有效。需要看具体生成和选择过程。

CoT 监督实际数据清洗泛化与停止标准
05 / STUDENT TRAJECTORIES

教师怎样指导学生自己走过的轨迹？

离线蒸馏常在教师生成的前缀上学习。部署时，学生可能早早选错一步，进入教师样本很少出现的状态。在学生轨迹上蒸馏，先让学生生成，再让教师在同一前缀上提供下一 token 分布或评分，让监督覆盖学生实际访问的状态。

这包含两个选择：前缀由谁产生，以及如何比较下一 token 分布。学生前缀可以配 forward KL、reverse KL 或其他目标；on-policy 不唯一指定 KL 方向。Thinking Machines 的 2025 年案例使用学生 rollout 与反向 KL 型信号，报告了具体任务上的训练结果。

Lteacher=Es∼dT DKL ⁣(πT(⋅∣s) ∥ πθ(⋅∣s)),Lstudent=Es∼dθ DKL ⁣(πθ(⋅∣s) ∥ πT(⋅∣s)).\begin{aligned}\mathcal L_{\mathrm{teacher}}&=\mathbb E_{s\sim d_T}\,D_{\mathrm{KL}}\!\left(\pi_T(\cdot\mid s)\,\|\,\pi_\theta(\cdot\mid s)\right),\\\mathcal L_{\mathrm{student}}&=\mathbb E_{s\sim d_\theta}\,D_{\mathrm{KL}}\!\left(\pi_\theta(\cdot\mid s)\,\|\,\pi_T(\cdot\mid s)\right).\end{aligned}
s 是问题和已生成前缀，d 表示访问这些前缀的分布。两个式子展示一组常见对照；完整训练还需定义轨迹采样、重要性权重、停止规则与梯度估计。
01 / STUDENT

学生生成

保存 prompt、生成 token、采样参数、版本与动作 log-prob。

02 / TEACHER

相同前缀上评分

教师看到学生已走过的路径，提供下一步分布或 token 级信号。

03 / OPTIMIZE

更新学生

按选定目标和估计器更新；教师参数保持固定，学生改变后重新采样。

04 / VERIFY

检查任务迁移

独立测试正确性、恢复能力、原能力与教师计算成本。

两类前缀的监督覆盖

固定二分类分布 · 无训练

教师轨迹只覆盖“常见前缀”。学生还可能到达“需要恢复的前缀”，两类状态各自的教师与学生分布固定。

需恢复前缀占比
教师前缀 forward KL
学生前缀 reverse KL
前缀教师访问权重学生访问权重教师概率学生概率Forward KLReverse KL

KL 使用自然对数。两种总 loss 的前缀权重和 KL 方向都不同，不能按数值高低判断哪个模型更好。前缀访问比例在这里是外部旋钮，未计算它对参数的依赖。

为什么“拿教师 log-prob 当奖励”还需要说明梯度？

完整轨迹目标中的 dθ 也随学生参数改变。实践可能使用采样的 log-prob 差、逐 token 权重、stop-gradient、即时反馈或回报传播等不同估计器。把固定前缀上的 KL 对参数求导，与对整条采样轨迹目标求导，需要处理的项不同。阅读配方时核对采样分布、KL 方向、梯度停止位置和未来奖励是否传回。

教师也会遇到陌生状态

学生可能给出自相矛盾的前缀，教师仍可能顺着错误继续。要检查教师在恢复场景中的能力，并保留结果验证器或人工抽查；模仿程度与任务正确性分别评价。

已有模型可以当保留能力的教师

领域继续训练可能改变通用指令行为。可以用更新前模型在通用任务上提供约束或恢复训练，再同时检查新领域和旧能力。教师本身不具备的新知识，需要其他数据或证据。

采样版本与数据陈旧度微调数据设计教师与判分器的误差
06 / VERSIONED CASE

NVIDIA MOPD：怎样把领域教师合到一个学生？

Nemotron 3 Ultra 的 2026-06-09 报告先以多环境 RLVR 建立学生，再让领域教师在学生生成的前缀上提供密集 token 信号，迭代做 Multi-teacher On-Policy Distillation。教师与领域数据对应，不能把它理解为无差别平均所有教师的参数或输出。

01 / STUDENT

采样学生轨迹

记录实际生成前缀和行为策略。

02 / TEACHER

对应领域评分

按报告定义提供 token 级信号。

03 / UPDATE

处理策略版本

异步估计器区分行为、proximal 与当前策略。

04 / EVALUATE

检查各领域迁移

教师匹配程度与独立任务完成分别测量。

报告的异步目标明确规定 log-prob 差、stop-gradient、概率比及 mask。把教师 log-prob 简单当作奖励，仍不足以确定同一个梯度估计器。

公开配方仍有复现边界

NVIDIA 固定版本的官方指南明确写出：领域教师和首轮 MOPD 的中间 checkpoint 未包含在公开发布中。指南提供一个代表性单轮流程，不能从现有公开工件重建报告的完整两轮训练链。本站没有运行该 GPU 配方。

一手依据：Ultra 报告第 3.2–3.3 节、图 10；官方配方 99a7e45 的 Scope 声明。源码入口存在和完整训练可复现，需要分别核对。

自反馈与教师反馈的区别从公开声明核对到结果

适用范围与一手资料

固定概率面板不训练学生；前缀比例外部给定，未计算轨迹分布对参数的依赖。NVIDIA MOPD 按报告及固定官方配方说明；中间教师和首轮权重缺失，本站未复现完整训练。

公式与机制的原始依据 · 6 项
知识目录
搜索知识库