← 返回书架人工智能 · 交互式 Wiki

模型能力与应用进阶专题讲解

MODERN AI / REASONING

CoT、Thinking 与推理计算

从“模型写了几步解释”，追到这些 token 怎样改变后续预测、监督怎样进入参数、额外计算又怎样变成可验证的收益。先分清可见文本、内部状态与最终答案。

文本 reasoning tokens参数学到的生成策略激活一次计算中的状态证据正确率、预算与因果检验

01 / WHAT IS IT

CoT 怎样表示中间推理？

Chain of Thought（思维链）是模型在答案前或答案之间生成的一串中间步骤，例如先列条件、做分解、算中间值，再给结论。原始 CoT prompting 的关键是给出“问题 → 推理步骤 → 答案”的示例，让同一个模型按这种模式继续生成；提示时不需要修改权重。

对自回归模型，中间步骤和答案一样是 token。已生成的步骤进入后续上下文，下一步可以注意到这些符号，相当于获得可读取的临时记录。更多步骤也意味着更多 forward、更多 KV 和更长延迟。每一步的正确性、作用和解释忠实性，需要分别检验。

p_\theta(r,a\mid x)=p_\theta(r\mid x)\,p_\theta(a\mid x,r)

继续推导：一条推理的概率，怎样联系最终答案的概率？

同一个答案可能由多条推理得到。若采用“先采样推理、再生成答案”的固定协议，最终答案的边缘概率需要对全部可能推理求和：

\begin{aligned} p_\theta(a\mid x) &=\sum_r p_\theta(r,a\mid x)\\ &=\sum_r p_\theta(r\mid x)\,p_\theta(a\mid x,r). \end{aligned}

一个两路径示例：模型以 0.6 的概率选到 r₁，其中目标答案概率为 0.9；其余 0.4 选到 r₂，其中目标答案概率为 0.1。最终是 0.6×0.9+0.4×0.1=0.58。只展示 r₁ 后看到的 0.9，不能代表整个采样流程有 90% 的成功率。

真实推理序列太多，通常不能显式求和。多条采样、投票、搜索或验证器选择是不同近似或决策规则；挑出“最高分一条”也不等于计算这整个求和。

看到的东西	它是什么	如何理解
CoT 提示	上下文中的分步示例或指令，改变本次生成条件。	提示改变当前上下文，模型权重和结构保持原配置。
`<thinking>` / `<think>`	可能是训练模板中的专用标记、普通文本标签，或产品 UI 对推理通道的命名。由具体 tokenizer、协议与产品决定。	标签的作用取决于模型训练模板和产品协议，具体行为需查看对应实现。
界面展示的思考	可能是完整可见推理，也可能是摘要或经过筛选的展示。需要阅读该模型/产品说明。	展示文本覆盖了哪些计算，需要结合产品说明和模型内部研究判断。
hidden state / residual stream	每个位置、每一层的高维数值激活；即使直接答题也存在。	概念通常由多个维度共同表达；读出某种信息后，还可通过干预研究它的作用。

02 / HOW IT IS TRAINED

CoT 监督使用哪些数据和目标？

训练记录可以写成 (问题 x，中间步骤 r，答案 a，验证结果 v)。不同算法使用其中不同字段。

01 / GENERATE

得到候选轨迹

人工解题、强教师生成、工具执行或当前策略采样。记录来源和完整上下文。

02 / VERIFY

检查答案与步骤

结果验证、可执行中间量、过程标注。最终答案和中间步骤分别检查。

03 / OPTIMIZE

选择训练信号

SFT 模仿 token；偏好比较轨迹；RL 用奖励加权策略更新。三者对轨迹的监督粒度和更新方式不同。

04 / EVALUATE

固定预算比较

新问题、相同输出预算、独立验证器；检查正确率、长度和停止行为。

方法	监督与梯度	具体边界
CoT SFT	将推理与答案拼成 s = r ⊕ a，对选定位置的 token 做 teacher-forced 交叉熵，下方给出带 mask 的目标。	先按模板区分 reasoning 与 answer；可分别加权、mask。长轨迹在全局 token 平均下权重更大，错步骤也会被模仿。
拒绝采样 + SFT	教师/策略生成多条轨迹，保留通过检查者，再做监督训练。	筛选改了数据分布；只留容易题、短答案或评分器喜欢的格式会产生偏差。
Outcome RL / RLVR	由最后结果给标量 reward，经 advantage 和 log-prob 更新采样策略。	通常不提供逐 token 的正确步骤标签。中间步骤如何得到信用取决于估计器、奖励位置与目标。
过程监督 / PRM	标注中间步骤正确性，训练 process reward model；可用于搜索评分，也可参与策略训练。	“步骤”切分、标注噪声和多种合法路径都要处理。过程评分需通过独立结果验证和路径对照检查。

\begin{aligned} s &= r\oplus a,\\ \mathcal L_{\mathrm{SFT}}(\theta) &=-\frac{1}{Z}\sum_{t=1}^{|s|}m_t\log p_\theta(s_t\mid x,s_{<t}),\\ Z&=\sum_t m_t>0. \end{aligned}

只监督最终答案，模型会自动学到正确 CoT 吗？不保证。若中间推理 token 被 mask，它们没有直接 CE 标签，但仍可能作为后续条件产生梯度路径；若它们是离散采样得到的，仅对最终答案 CE 反传不能自动穿过采样操作，需要另一个训练设计。上下文的计算路径和产生离散 token 的采样过程，需要分别处理。

03 / TEST-TIME COMPUTE

多想一会儿，和多试几次，是两种预算

串行修订把预算用于一条轨迹；并行采样需要选择器；树搜索还会反复评分和扩展分支。实际质量不只取决于生成多少 token。

候选覆盖率与最终选中率

独立采样的教学概率模型

单条候选正确率 p 候选数 N 混合候选中选对概率 q

至少一个正确

最终选中正确

生成预算

\begin{aligned} P_{\mathrm{cover}} &=1-(1-p)^N,\\ P_{\mathrm{select}} &=p^N+q\bigl[1-(1-p)^N-p^N\bigr]. \end{aligned}

q 只作用于“既有正确也有错误”的候选集；全对必选对，全错无法选对。现实样本会相关，q 会随 N 和难度变化；图中预算仅为等长生成次数，不含评分与调度。

这张图说明了 pass@N 与部署成功率之间缺了一个选择器。多数投票可能强化共同错误，PRM 可能偏爱熟悉的步骤，验证器可能被格式钻空子。比较两种推理策略时，要一起记录输入难度、总生成 token、评分调用、工具耗时和最终选中答案的正确率。

04 / INTERNAL REPRESENTATIONS

潜在推理与 J-space：模型内部发生了什么？

连续潜在空间推理

Coconut 等研究将某步 hidden state 直接作为后续输入表示，让连续状态承载中间计算。采用这种回路需要相应的训练流程和执行方式。

Anthropic 的 J-space

Anthropic 在 2026-07-06 的研究中，用 Jacobian lens 识别了一组与概念相关的内部激活模式，并将它们称为 J-space。研究者观察模型能否报告和调控这些模式，再通过干预检验它们对任务结果的影响。

观测、探针与干预

探针从激活中预测某个概念，说明相关信息可以被读出。要了解这些信息是否参与了任务计算，还可以改变激活，观察结果怎样变化，并用对照实验检查影响是否来自特定表示。

怎样读这些研究

先看研究测了哪些模型和任务，再看干预改动了什么、行为变化有多大。一次实验能解释某种表示的作用；更广的结论还需要跨模型、跨任务复现。

JEPA 的训练目标是在表示空间预测缺失部分。详见潜在空间与预测目标。

05 / EVIDENCE

怎样评估推理能力的变化？

把“最终正确”“步骤正确”“解释忠实”“成本可接受”分开评价。同题换数字、换表述、交换无关信息、移除提示线索，能测试它是否依赖表面模式；未见过的组合和时间后移任务用于检查迁移，但没有单一基准能证明所有分布上的泛化。

对可见 CoT，正确解释可以是事后合理化；没有展示某因素也不证明模型没用它。要结合受控干预和行为测试。停止训练时，应结合预先定义的任务目标、回归指标与推理成本作判断。

PPO / GRPO 的更新机制 Teacher 与轨迹蒸馏泛化与训练停止判据 Scaling Law 的实验来源

06 / RESEARCH COMPARISON

RL 提升了什么？先把能力定义和实验条件对齐

“第一次更容易答对”“有限预算内能解更多题”“正确答案来自正确步骤”是三个不同问题。测量它们的指标和采样协议不同，因此研究可能对同一类训练给出不同解释。比较前先核对底座、算法、任务、长度预算与验证器。

研究	主要实验视角	作者在所测范围内的结论	读者还需检查
Yue 等，2025 Does RL Really Incentivize… v5：2025-11-24	比较底座与 RLVR 后模型在不同 k 下的 pass@k，结合覆盖和概率分析。	所测配方在小 k 提升，而大 k 时底座可能覆盖更多题；作者认为这些训练主要利用底座已有的模式。	有限采样无法穷尽低概率能力；题目、采样温度、输出长度和推理格式都会影响可见覆盖。
Wen 等，2025 RLVR Implicitly Incentivizes… v2：2025-10-02	重新检查 pass@k，并用同时关注最终答案与中间步骤的 CoT-Pass@K 分析推理。	作者在数学与代码实验中报告了正确推理质量及能力边界的改善，并给出结果奖励激励正确推理的理论分析。	步骤正确性如何判定，判分误差和理论假设是否适用；不同模型与训练设置需单独比较。

这两项工作可以帮助设计区分实验，不能合并成“所有 RL 都只能重排概率”或“所有 RL 都会获得新能力”的结论。证据应绑定明确版本与任务；后续训练规模、课程、环境交互和验证器变化，都值得另做实验。

两道题，三类解题路径

人工概率 · 不复现论文实验

概率配置每题尝试次数 k

路径分为步骤正确、步骤有误但答案正确、答案错误。所有路径概率都大于零，改变配置只改变其权重。

平均 pass@1

平均 pass@k

单次步骤及答案正确

答对条件下步骤正确的比例：

题目	步骤正确	碰巧答对	答案错误	Pass@k

先按题计算 1−(1−p)ᵏ，再对两题等权平均；不能把平均 p 先代入非线性公式。步骤标签人工给定。这里的单次过程指标不是论文 CoT-Pass@K 的实现。

有限预算下的可用能力

极低概率的正确路径可能在实际上无法找到。即使路径支持集保持不变，提高有限预算下的成功率也有工程价值；报告预算与选择成本。

回答正确与步骤正确

最终答案可能碰巧命中，正确思路也可能在最后算错。分别标记答案、过程和可执行中间量，验证器的可靠性也要评估。

分布外能力需要新任务

换数字、组合、题族、来源或环境，控制难度后比较。训练题族内覆盖增加，不能直接外推到所有新任务。

同 k 还不等于同成本

回答长度、工具调用、评分和搜索开销都可能不同。用相同 token/时间/算力预算的曲线补充 pass@k。

环境与新训练信号正确性与输出一致性重复执行的统计口径

适用范围与一手资料

边缘概率限定同一会终止协议；候选面板假设独立、等成本及固定选择率。研究对照绑定论文版本，路径面板采用人工概率，不复现 CoT-Pass@K，也不证明模型能力边界。

公式与机制的原始依据 · 8 项

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (2022)CoT 示例提示与分步序列，区别于参数训练
Language Models Don't Always Say What They Think (2023)CoT 解释的忠实性与偏置实验
Anthropic · A global workspace in language models (2026-07-06)J-space 的识别方法，以及模型报告、调控和干预内部表示的实验
Training Large Language Models to Reason in a Continuous Latent Space (2024)Coconut 的连续状态反馈与分阶段训练
Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Model Parameters (2024)题目难度、搜索/修订与推理计算分配的实验
DeepSeek-R1 (2025)RL、推理轨迹、拒绝采样与小模型蒸馏的具体配方
Does RL Really Incentivize Reasoning Capacity Beyond the Base Model? (2025, v5)不同 k 下的 pass@k、覆盖和概率分析，结论限于所测配方
RLVR Implicitly Incentivizes Correct Reasoning in Base LLMs (2025, v2)CoT-Pass@K、过程正确性与结果奖励的理论及实证分析