← 返回书架人工智能 · 交互式 Wiki

微调与后训练进阶专题讲解

FRONTIER 02 / RL POST-TRAINING

RL 后训练：采样、评分与策略更新

偏好模型、可验证 verifier、rubric 或 AI judge 给出奖励；rollout 产生回答；算法把奖励变成相对优势，再通过 policy gradient / clipped objective 更新策略。reference、KL 与评估决定它会不会跑偏。

奖励从哪里来，决定你优化什么

切换奖励来源，看监督信号、所需的模型、常见收益与失效方式。

PREFERENCE PAIR

同一 prompt 下比较 chosen 与 rejected

人工或 AI 给出相对偏好。可以用 Bradley-Terry 训练 reward model，也可以直接做 DPO；偏好数据覆盖有限，评分者一致性会直接进入模型。

数据

(prompt, chosen, rejected) 成对记录

典型算法

RLHF + reward model / DPO

失效方式

偏好偏差、长度偏置、judge 与训练同源、对开放式任务覆盖不足

一次 RL 后训练循环

PPO/GRPO 通常从近期策略采样回答再更新；标准离线 DPO 的优化阶段读取已有偏好对。在线 DPO 也可采样新回答，所以是否 rollout 要看完整流程。

抽 prompt

从目标任务分布采样，可以来自静态题库。on-policy 指回答由近期策略产生，不要求 prompt 动态生成。

Rollout

当前 policy 生成一个或多个回答，记录 token log-prob。

Score

reward model、规则 verifier、rubric judge 或过程奖励给出分数。

Advantage

把绝对分数变成相对组内/价值基线更好的优势。

Policy update

提高高优势回答概率，加入 ratio clipping 与 KL 约束。

Evaluate + refresh

防 reward hacking、检查能力回归、更新数据/judge，再进入下一轮。

PPO、GRPO、DPO：优化对象不同

公式都简化成核心项；真实实现要处理 token mask、长度、ratio、reference、value/clipping 与分布式训练。

PPO / RLHF

奖励 + 价值基线 + 裁剪策略更新

\begin{gathered} \max_\theta J_{\mathrm{clip}}-\beta D_{\mathrm{KL}},\\ J_{\mathrm{clip}}=\mathbb E\!\left[\min\!\left(\rho_t A_t,\operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)A_t\right)\right]. \end{gathered}

ρₜ = πθ(aₜ|sₜ) / πold(aₜ|sₜ) 表示新旧策略的动作概率比。常用 value baseline / GAE 估优势；PPO 本身不要求学习 reward model，也能用规则奖励。此处省略 value loss 与熵项。

数据：prompt + reward；对象：采样策略

GRPO

同 prompt 多回答，组内相对优势

A_i=\frac{r_i-\operatorname{mean}(r_{\mathrm{group}})}{\operatorname{std}(r_{\mathrm{group}})+\epsilon}

这是 outcome-reward 的组内标准化形式，ε 防止除零。组内全对或全错时，相对奖励优势为零；KL 等项仍可能有梯度。多回答 rollout 仍是计算成本的一部分。

数据：同一 prompt 的 group；对象：策略

DPO

离线偏好对，直接做相对概率目标

\mathcal L_{\mathrm{DPO}}=-\log\sigma\!\left(\beta[\Delta\log\pi_\theta-\Delta\log\pi_{\mathrm{ref}}]\right)

标准离线 DPO 优化不需新 rollout 或显式 reward model，但需固定 reference log-prob；可预计算。在线采样和 reference-free 变体要另看其目标定义。

数据：pair；对象：回答相对排序

RLVR

用可验证结果替代偏好评分

r = verifier(answer, tests / proof / checker)

数学答案、代码测试、约束满足等能自动判定；信号更硬，但 verifier 覆盖、奖励漏洞和任务可验证性会成为瓶颈。

数据：可执行任务；对象：可验证能力

把中间一步补上：奖励不可微，策略梯度为什么仍然存在？

先固定问题 x，假设 R(y) 是不直接依赖 θ 的外部奖励。生成结果 y 是离散序列，不能把采样得到的 token ID 当连续变量反传；但序列的概率 πθ(y|x) 对参数可微：

\begin{aligned} J(\theta)&=\mathbb E_{y\sim\pi_\theta(\cdot\mid x)}[R(y)]\\ &=\sum_y\pi_\theta(y\mid x)R(y),\\ \nabla_\theta J &=\sum_yR(y)\nabla_\theta\pi_\theta(y\mid x)\\ &=\mathbb E_{y\sim\pi_\theta}\!\left[R(y)\nabla_\theta\log\pi_\theta(y\mid x)\right]. \end{aligned}

\log\pi_\theta(y\mid x)=\sum_{t=1}^{|y|}\log\pi_\theta(y_t\mid x,y_{<t})

用只依赖 x、不依赖当前动作 y 的 baseline b(x) 替代奖励里的常数部分，可降低估计方差：E[b(x)∇logπθ(y|x)]=0。其他组内归一化的偏差需要另行分析；奖励若直接依赖 θ，还需计入相应导数。PPO 再通过 old-policy 概率比和裁剪处理多次使用采样数据的问题；KL、value loss 等项要按真实目标另加。

GRPO 与 RLVR 的分工：GRPO 用组内相对优势更新策略，RLVR 用可验证结果提供奖励。两者可以组合使用。

两个策略各有用途。old policy 是本批回答的采样策略，用在重要性概率比中；reference 是 KL 的锚点，通常固定。多次更新同批 rollout 后二者不能混用。实现中 KL 可写进奖励或单独作 loss 项，不能未经检查重复惩罚。

Reward Model 在学什么？

Bradley-Terry 把“A 比 B 好”转成可训练的二分类目标。

Bradley–Terry model

P(y_w\succ y_l\mid x)=\sigma\!\left(r_\phi(x,y_w)-r_\phi(x,y_l)\right)

\mathcal L_{\mathrm{RM}}=-\log\sigma(r_w-r_l)

成对目标只约束同 prompt 的分数差。对该 prompt 的所有回答加同一个常数，偏好概率不变；所以即使在训练分布内，跨 prompt 的绝对 reward 也不能天然比较，需另做校准或基线处理。

偏差

长度、格式、自信语气、引用样式可能比正确性更容易被评分模型学习。

分布外

policy 更新后会访问训练偏好未覆盖的新回答，reward model 可能给出外推错误。

Goodhart

策略可能利用评分规则的漏洞，获得高奖励但未完成预期任务。

Reward hacking：高奖励可能来自哪些漏洞

下面列出奖励设计中的常见漏洞、表现和检查方法。

奖励	可能被利用的点	表面现象	防线
偏好 judge	更长、更自信、更讨好	win rate 升，事实性/简洁度降	长度分层、人工抽检、held-out judge
测试 verifier	硬编码、猜测试、格式漏洞	pass@k 升，泛化或可维护性降	隐藏测试、变体测试、代码审查
格式化规则	只满足格式而回避任务	格式遵循满分，内容不变好	内容/格式分开评分，硬失败集
reference KL	过度贴近 reference 而不学新能力	稳定但几乎不提升	调 β、按能力切片评估

06 / LEARNING SIGNAL

同一题全答对或全答错，还能学到什么？

组内相对优势用同题多个回答的差异作为学习信号。如果这一组奖励完全相同，中心化后的优势为零，这组 outcome reward 对应的策略项就没有区分信号。全对与全错的原因不同，下一轮题目难度与采样应分别分析；其他组、KL、熵项或过程奖励仍可能产生梯度。

\hat A_i=\begin{cases}(r_i-\bar r)/\sigma_r,&\sigma_r>0,\\0,&\sigma_r=0.\end{cases}

四个回答的优势账本

固定奖励 · 不运行模型

组内奖励

平均奖励

标准差

组内区分信号

回答	奖励	优势

动态采样的作用

DAPO 的配方保留有奖励差异的 prompt 组，继续采样以补足有效组。它提高了有效组比例，也改变了训练题目分布，并增加 rollout 成本。记录被过滤的题型与难度，防止训练只覆盖少数边界题。

探索为什么会减少

高概率路径被反复强化后，采样可能越来越相似。需要同时观察条件 token 熵、答案/策略多样性和任务成功率；更高熵也可能来自无意义随机输出。温度、熵正则、裁剪和采样分布分别作用于不同环节。

长度与截断

对序列先平均再平均样本，与全体 token 平均赋予长答案不同权重。若超长输出被截断后统一判错，还会把“没来得及完成”和“推理错误”混在一起。DAPO 专门讨论了 token 级目标和超长奖励处理。

稀疏奖励与长程信用

整条轨迹的结果奖励可关联到各个动作，但不直接指出哪一步造成成功。过程评分、价值基线、恢复轨迹和环境检查可提供更细信号；新增评分器也需要校准与防漏洞。

机制案例：DAPO（2025），具体消融、裁剪上下界与长度处理见页尾论文；这里没有复现其整套算法。

07 / POLICY VERSIONS

回答生成时，训练器已经更新了怎么办？

01 / ROLLOUT

记录行为策略

版本 v17 生成回答，保存所采动作的 log-prob、mask、结束原因和奖励。

02 / QUEUE

等待与评分

其他 worker 可继续生成。进入训练队列时模型可能已是 v20。

03 / UPDATE

核对分布偏移

用当前策略重算所采动作概率，检查概率比、版本差和有效样本数。

04 / REFRESH

更新生成权重

平衡 rollout 与训练速率，限定数据陈旧程度，过旧数据按协议处理。

同步流程要等待一批长短不同的回答完成；异步系统让生成和训练重叠，代价是样本来自不同版本的策略。AReaL（2025，2026 年修订）使用陈旧度控制与对应 PPO 变体。版本号相差几步只是调度指标，还需要检查概率分布变化；采样温度、top-p、停止规则及推理引擎的 log-prob 口径也要匹配。

一个已采动作的概率比

PPO 单项 · ε=0.2

行为策略动作概率当前策略动作概率该动作优势

概率比 ρ

裁剪目标项（最大化）

计算 min(ρA, clip(ρ,0.8,1.2)A)。正负优势的平台方向不同。这里不模拟轨迹的状态分布校正，也不估算全模型 KL。

裁剪限制某个 surrogate 项继续奖励过大的概率变化，并没有强制所有动作概率都留在区间内。参数共享、其他样本和其他损失仍会改变它。异步校正也无法让任意陈旧数据都等价于新策略采样。

QwenGyre：长任务的调度与轨迹怎样一起处理？

Qwen 的 2026-10-20 v2 论文把问题拆成两部分：在生成与训练之间弹性调配 GPU；用轨迹树保留分支的原始上下文，并避免共享前缀目标被重复计权。可训练目标按 token 的实际来源判断，harness 注入的 assistant 文本也不能自动算成策略采样。

任务结束或超时后，若保留的工作产物可以评估，就按任务规则评分，并绑定被检查的状态和分支。核验时同时检查任务成功率、目标去重、策略版本、角色切换成本与同预算耗时；GPU 更忙本身不能证明训练目标保持一致。

来源：QwenGyre v2，第 4–5 节。这里解释公开机制，未运行分布式训练，也未独立重测论文加速。

学生 rollout 与教师信号真实 harness 怎样进入训练长轨迹的上下文管理

CASE / THREE POLICIES

权重相同，采样与训练的概率为什么还会不同？

推理引擎与训练器可能使用不同精度、kernel 和概率处理流程。即使 checkpoint 相同，也要核对实际采样分布与训练侧重算的 log-prob；温度、top-p、语法约束和 token 前缀都属于这项检查。只保存权重版本，不能确定采样时的概率。

策略	本节记号	在当前批次中的职责
实际采样策略	q / rollout	产生动作和观测到的采样 log-prob，更新时固定。
裁剪参考策略	p / proximal	作为 PPO 比率的参考，当前批次内固定；与用于 KL 的 reference model 分别记录。
当前训练策略	πθ / current	随参数更新，梯度沿它的概率计算。

w(a)=\frac{p(a)}{q(a)},\qquad r_\theta(a)=\frac{\pi_\theta(a)}{p(a)},\qquad J_w(\theta)=\sum_a q(a)w(a)r_\theta(a)A(a)

\sum_a q(a)\frac{p(a)}{q(a)}\frac{\pi_\theta(a)}{p(a)}A(a)=\sum_a\pi_\theta(a)A(a)

下面穷举两个动作：q=[0.8,0.2]，p=[0.6,0.4]，πθ=[0.55,0.45]，A=[1,−1]，所以 w=[0.75,2]。θ 是动作 a 的 logit，动作 b 的 logit 固定为 0。对目标求导时，q、p、A 和下表各项权重都保持不变。

处理方式	实际使用的权重	目标 J	∂J / ∂θ
忽略采样差异	1 / 1	0.508333	0.453750
完整比率	0.75 / 2	0.100000	0.495000
TIS：权重上限 1.5	0.75 / 1.5	0.212500	0.433125
RS：丢弃 w>1.5 的项	0.75 / 0	0.550000	0.247500

TIS 改变权重，RS 改变保留项；这两个阈值只用于本例。RS 行仍按原 q 取期望，保留的概率质量为 0.8，没有按保留项重新归一。四行都没有执行 PPO 裁剪；其对 r 的限制与这里对 w 的处理需要分别理解。

截断以偏差换取更受控的权重

表中完整比率恢复本例的目标和梯度，上限或 mask 则改变了它们。长序列的比率连乘、逐 token 处理和几何均值筛选具有不同含义；需要同时报告权重尾部、有效样本量、拒绝率、回答长度与独立质量。

支持集与概率口径是前提

若 q 对目标策略仍可能选择的动作给出零概率，已有样本无法靠除法补回该动作。top-p 等筛选后的采样 log-prob、筛选前模型概率和训练器重算值必须标明，不能混用。两策略 bypass 模式将裁剪参考设为实际采样策略，也应明确记录。

机制依据：verl 固定版本 8acd940 的三策略说明与IS / RS 使用文档。本表为人工分布上的精确求和和有限差分核验，未运行 vLLM、FSDP 或模型训练。

重算本轮的三个固定输入例子

在仓库根目录运行：同时检查这里的梯度、简化 FP4 缩放和人工 rubric 的表格值。

node artifacts/training-contracts-20261030T045605Z/check-mechanisms.mjs

低位计算怎样改变数值 PPO 裁剪与 KL 的参数梯度评分怎样形成奖励

CASE / FEEDBACK SOURCES

Self-Feedback RL：模型的反馈怎样进入训练？

先分清反馈来源与参数是否更新，再判断一项公开技术披露到了哪一步。

DeepSeek：已确认采用，配方仍需披露

2026-10-17 的 V4.1-Flash-1017 官方说明明确提到，用 self-feedback RL 提升从零构建完整项目的能力。该说明没有给出反馈生成器、奖励公式、优化目标或训练消融；这些字段保持未知，不据名称补成某种具体算法。

官方发布说明：完整项目开发段。属于厂商采用声明，本站没有复现其训练收益。

独立 RLSF 论文：置信度构造偏好

另一项 2025 年发表、2026-09-15 更新至 v2 的研究，用冻结模型生成多个推理候选，按答案片段置信度构造排序与偏好，再优化策略。它提供一种明确机制，不能作为 DeepSeek 使用同一配方的证据。

van Niekerk 等：RLSF v2。置信度提供训练信号，正确性和校准收益仍要独立评估。

过程	反馈改变什么	核验重点
推理时回看、批评与修订	改变本次上下文和后续输出，通常不更新参数。	固定总推理预算，比较最终完成质量与新增成本。
自生成偏好或筛选数据	先形成训练数据，再按已声明的目标更新参数。	冻结生成与评分版本，检查数据覆盖及同源偏差。
基于结果或反馈的 RL	反馈进入奖励或优势，经策略目标更新参数。	奖励定义、采样策略、归约与独立评估均应明确。

同一模型出题、作答和判分时，多个环节可能共享盲点。应保留训练反馈无法访问的测试、替代判分器及抽样人工核验，分别报告训练信号和真实任务结果。

训练声明的核验顺序合成数据的共同偏差近期方法导航

CASE / POLICY OBJECTIVES

Qwen GSPO / SAPO：裁剪哪个量，保留哪些梯度？

GSPO 按回答计算长度归一化的序列概率比并裁剪；SAPO 的 2025-12-01 v2 论文改用温度控制的 token 级软门控。它们改变策略更新目标，不能只作为 GRPO 的一个采样开关。以下只检查公式局部行为，不训练 Qwen 模型。

s_i=\exp\!\left(\frac{1}{|y_i|}\sum_t\log r_{i,t}\right),\qquad r_{i,t}=\frac{\pi_\theta(y_{i,t}\mid x,y_{i,<t})}{\pi_{\mathrm{old}}(y_{i,t}\mid x,y_{i,<t})}

\begin{aligned}f_\tau(r)&=\frac4\tau\,\sigma(\tau(r-1)),\quad \tau>0,\\ \frac{\partial f_\tau}{\partial r}&=4p(1-p),\quad p=\sigma(\tau(r-1)).\end{aligned}

固定比率 r	硬裁剪 ∂J/∂r，A=+1	硬裁剪 ∂J/∂r，A=−1	软门控 ∂f/∂r，τ=2
0.6	1	0	0.856
1.0	1	−1	1.000
1.4	0	−1	0.856

硬裁剪使用 J=min(rA, clip(r,0.8,1.2)A)。只有正优势上侧、负优势下侧进入平台，不能说“比率越界就没有梯度”。本表固定两种优势的 τ 都为 2，只为隔离门控形状，不是作者完整训练的超参数配置。

来源：GSPO v2、SAPO v2 第 3 节式 5–8。论文中的任务收益属于作者报告，不能从这三个比率推得。

核验这组固定输入的数值

在仓库根目录运行下列命令。检查会用有限差分复算软门控导数，并核对表格、现有硬裁剪实现与关键步数算例；它不调用模型或 GPU。

node artifacts/training-research-20261030T033831Z/mechanism-check.mjs

怎样评估 RL 后训练的收益？

将训练 reward 与独立评估、能力回归和服务成本一起比较。

目标内

held-out verifier / 人类偏好 / rubric，且与训练 reward 来源独立。

能力

知识、代码、数学、长上下文、工具调用、格式遵循与语言能力回归。

行为

错误输出是否减少？拒答、长度、多样性、校准与安全是否在预期范围内？

计算

rollout 数、KL、response 长度、训练稳定性和服务成本是否可接受。

污染

verifier/judge 与训练数据是否共享答案、模式或同一评分者？

持续

多轮训练后是否出现 reward overoptimization、模式坍缩或格式单一。

回前沿决策再看 DPO / SFT 公式查看评估门禁

实际计算 RL 参数梯度与连续更新

适用范围与一手资料

策略梯度假设外部奖励不直接依赖参数；交互和 GSPO/SAPO 只核算指定输入。三策略校正固定一个上下文、正概率和人工优势，截断/RS 表不含 PPO 裁剪、KL 或保留项重归一；未恢复多步前缀分布。DeepSeek 与 QwenGyre 按公开版本说明，未披露细节保持未知。

公式与机制的原始依据 · 12 项

Proximal Policy Optimization (2017)old policy 概率比与 clipped surrogate objective
DeepSeekMath (2024)GRPO 的组内基线、优势与去 critic 设计
Direct Preference Optimization (2023)参考校正 margin、β、偏好梯度与隐式奖励
DAPO (2025)动态采样、解耦裁剪、token 级目标和超长奖励处理
AReaL (2025; v5 2026-03-02)异步生成训练、数据陈旧度控制与 PPO 变体
DeepSeek · V4.1-Flash-1017 (2026-10-17)2026-10-30 核对完整项目开发段：确认 self-feedback RL 的采用；该发布说明没有奖励构造、反馈生成器或训练消融
Reinforcement Learning from Self-Feedback (2025; v2 2026-09-15)冻结模型生成 CoT beams，按答案片段置信度构造偏好；独立作者工作，不作为 DeepSeek 配方的证据
Qwen · Group Sequence Policy Optimization (2025, v2)长度归一化序列概率比与回答级裁剪；本站只核算固定 token 比率，不复现模型训练
Qwen · Soft Adaptive Policy Optimization (2025-12-01, v2)第 3 节式 5–8 的温度门控及导数；固定比率核验区别于 Qwen3-VL 的完整训练和性能报告
QwenGyre (2026-10-20, v2)第 4–5 节：弹性 GPU 调度、轨迹树、评分状态、token 来源与共享目标去重；本轮不运行其分布式系统
verl · Three-policy formulation / 8acd940固定 2026-02-24 源码版本的三策略说明；本站只穷举一个固定上下文，未验证多步轨迹或运行完整训练
verl · Rollout Correction / 8acd940区分实际 rollout、proximal、current 和 IS/RS；阈值、mask、归约与支持集分别检查，不将截断当成无偏恢复