第二章 行为与反事实：先确认模型做了什么

内部分析之前，应先把目标行为写成可测量对象。否则研究者容易从醒目的 activation 出发，再倒推一个模糊故事。行为实验不唯一识别内部机制，却规定机制解释必须复现哪些事实。

2.1 冻结系统与行为标量

令 $G$ 表示包括序列化、模型前向和解码器在内的系统。对输入 $x$，目标标量为

$$S(x,\omega)=s(G(x;\omega)),$$

其中 $\omega$ 包括采样随机数、工具返回或其他外部状态。若研究模型 logits，可固定在采样前并令 $\omega$ 消失；若研究最终 Agent 行为，就必须把外部状态纳入设计。

随机系统还要声明条件环境律

$$\omega\mid X=x\sim P_\Omega(\cdot\mid x), \qquad \bar S(x) :=\mathbb E_{\omega\sim P_\Omega(\cdot\mid x)} [S(x,\omega)].$$

若系统在目标层完全确定，$P_\Omega(\cdot\mid x)$ 退化为点质量，$\bar S(x)$ 就是普通的 $S(x)$。比较解码器或工具策略时，$P_\Omega$ 是 estimand 的组成部分，不能只固定输入分布。

常用低噪声指标包括：

$$S_{a,b}(x)=z_a(x)-z_b(x),$$ $$S_y(x)=\sum_{t=1}^{|y|} \log p(y_t\mid x,y_{<t}),$$

以及格式约束的连续 score。只报告一次采样的 0/1 成败会丢弃 margin 信息。

2.2 目标总体量

行为主张应对应分布 $\mathcal D_{\mathrm{eval}}$ 上的总体量，例如

$$\mu=\mathbb E_{x\sim\mathcal D_{\mathrm{eval}}}[\bar S(x)]$$

或条件差

$$\Delta=\mathbb E[\bar S(X)\mid C=1] -\mathbb E[\bar S(X)\mid C=0].$$

有限样本平均是估计器，不是总体量本身。模板、实体和语言若形成层级，应按层级抽样或报告分层效应，不能把同一模板下的一千个实体当作一千个独立机制样本。

2.3 Minimal pair 与配对效应

minimal pair 尝试只改变目标因素：

$$(x_i^+,x_i^-),\qquad \delta_i=S(x_i^+)-S(x_i^-).$$

平均配对效应与标准误为

$$\widehat\Delta=\frac1n\sum_{i=1}^n\delta_i, \qquad \widehat{\operatorname{SE}}(\widehat\Delta) =\frac{\operatorname{sd}(\delta_1,\ldots,\delta_n)}{\sqrt n},$$

前提是 pair 近似独立；存在共享模板时应对模板 cluster bootstrap 或使用混合效应模型。

改一个词也可能改变 token 数、词频、语气和位置。真正的设计对象不是字符串编辑距离，而是“除目标因素外，其他因果相关因素尽可能匹配”。

2.4 反事实有效性

设目标属性为 $C$，观察变量为 $Z$。希望比较

$$S\bigl(x(C\leftarrow1,Z)\bigr) -S\bigl(x(C\leftarrow0,Z)\bigr).$$

自然语言中 $C$ 与 $Z$ 往往不能独立修改：把“医生”换成“护士”同时改变 token identity、频率与社会语义。缓解方法包括：

• 多实体、多模板和双向替换；
• token 长度、词频和位置匹配；
• 人工核验语义与语法；
• 明示不能被控制的伴随变化；
• 用不同构造机制复现实验。

反事实句子可读并不保证来自模型训练分布。应比较 perplexity、基础模型判断或人工自然度，但这些检查也只是代理。

2.5 正例、负例与挑战集

单例适合发现假说，不适合验证。一个最低限度的数据结构包含：

• 行为成功的正例；
• 结构相似但行为不应触发的负例；
• 保持语义、改变表面的 paraphrase；
• 改变语义、保持表面统计的反例；
• 新模板、新实体和新语言的 held-out 集；
• 原模型失败但表面结构相同的样本。

最后一类尤其重要：只分析成功样本会把成功的伴随现象误当成功原因。

2.6 不变性与等变性

若变换 $g$ 不应改变任务答案，测试不变性

$$F(gx)\approx F(x).$$

若输出应按 $\rho(g)$ 改变，测试等变性

$$F(gx)\approx\rho(g)F(x).$$

例如交换多选标签后，内容选择应保持而标签随之交换。估计时不要只比较 exact match；还应比较候选 logits 经 $\rho(g)$ 对齐后的误差。

不变性失败可揭示 shortcut，但不能直接定位 shortcut 在内部何处。相反，不变性通过也可能因为多个错误相互抵消。

2.7 因子设计与交互

若怀疑行为同时依赖语义 $A$ 与格式 $B$，使用 $2\times2$ 因子设计。交互项为

$$\Delta_{AB} =S_{11}-S_{10}-S_{01}+S_{00}.$$

$\Delta_{AB}\ne0$ 表示两个因素的效应不可由加法主效应解释。更高阶设计要注意样本量快速增长，并在看结果前定义主要对比。

内部 circuit 也可能只在某因素组合上启用；平均掉交互会制造一个不存在于任何单例上的“平均机制”。

2.8 Behavioral signature

机制假说应先推出一组行为签名，而不是看到内部图后再挑例子。例如“induction 机制支持重复模式续写”预测：

1. 出现 A B ... A 后提高 B 的 logit；
2. 破坏首个 A B 配对降低该效应；
3. 改变第二个 A 的位置系统改变效应；
4. 上下文不足时效应消失；
5. effect 对不同 token 频率与间距具有可估计曲线。

这些预测构成后续内部搜索的验收集。若 circuit 只解释发现它时的样本而不能预测签名变化，它仍是局部拟合。

2.9 Prompt、解码与随机性

system prompt、few-shot 示例、reasoning budget、temperature、top-$p$ 和停止规则都是实验因素。研究应选择两层指标：

• 模型层：固定前缀处的 logits、hidden state 或 teacher-forced likelihood；
• 系统层：在固定采样协议下重复运行的最终行为分布。

对随机输出，估计

$$\pi(x)=\Pr_{\omega}[Y(x,\omega)=1]$$

需要多次独立采样并报告区间。把不同 prompt 的单次采样差异归因内部机制，通常方差过大。

2.10 自动生成测试的控制

另一个模型可以生成 minimal pairs 和挑战例，但可能引入模板重复、答案词泄漏和同源偏差。最低控制是：

• 发布生成提示、采样参数和过滤规则；
• 在字符串、embedding 与模板层面去重；
• 人工分层抽样核验；
• 加入规则或人工独立构造的数据；
• 让解释发现模型看不到最终验证集；
• 检查仅凭表面统计的 baseline。

LLM judge 也属于测量模型。其版本、blindness、位置偏差和与被测模型的相关错误都要进入不确定性分析。

2.11 黑箱不可识别性

若两个内部机制 $H_1,H_2$ 在测试支持集上满足

$$F_{H_1}(x)=F_{H_2}(x), \qquad x\in\operatorname{supp}(\mathcal D_{\mathrm{eval}}),$$

纯行为数据无法区分它们。有限样本下，更多机制可以插值所有观察值。

行为实验的目标不是单独证明内部算法，而是：

1. 排除与行为事实冲突的假说；
2. 生成能够区分剩余假说的新输入；
3. 为内部干预定义清楚的结果变量；
4. 检查内部假说能否预测未用于发现的行为。

2.12 方法审计表

方法	研究问题与对象	操作与估计量	必要控制	能支持	不能支持与失效
minimal pair	因素变化是否改变行为	配对替换；$\mathbb E[\delta]$	token、频率、模板、双向替换	匹配设计下的行为效应	唯一内部原因；伴随变化会混杂
invariance test	模型是否遵守任务对称性	施加 $g$；对齐输出差	变换有效性、原任务性能	行为 shortcut 或稳健性	shortcut 的内部位置
factorial test	因素是否交互	全因子组合；$\Delta_{AB}$	平衡、层级抽样、多重比较	行为交互	交互由哪个组件实现
behavioral signature	机制假说预测哪些曲线	参数化生成；效应曲线	held-out 参数区间、替代假说	假说的外部预测力	内部唯一实现
sampled system test	最终行为概率如何变化	重复解码；$\hat\pi$	seed、工具状态、置信区间	指定系统协议的风险率	冻结模型 logits 的直接机制

合理顺序是先建立稳定行为与反事实，再用内部方法定位，最后回到 held-out 行为集验证。行为层不是“浅层科普”，而是所有机制主张的结果定义与外部约束。