# 第七章 Ablation、Patching 与因果追踪

Chapter from the Chinese-language book Anatomy of the Stochastic Parrot: 第七章 Ablation、Patching 与因果追踪.

## Metadata

- HTML: https://glenzli.com/en/dr-stochastic-parrot/stochastic-parrot-anatomy/vol-04/ch07-interventions-patching/
- Markdown: https://glenzli.com/en/dr-stochastic-parrot/stochastic-parrot-anatomy/vol-04/ch07-interventions-patching.md
- Collection: Dr. Stochastic Parrot
- Language: en
- Published: 2026-07-17
- Status: published
- Tags: ai-generated, stochastic-parrot, stochastic-parrot-anatomy, ai

## Content

模型前向传播是已知计算图，因此研究者可以把内部节点设置为指定值并重新计算下游输出。这比相关读出更接近因果实验；但结论仍相对于节点定义、替换值、输入分布与允许干预族，不能自动解释为人类概念的唯一自然中介。

## 7.1 前向图作为确定性结构模型

把内部节点按拓扑顺序写成

$$
U_k=f_k(\operatorname{pa}(U_k);\theta),
$$

最终目标为 $S=g(U_1,\ldots,U_K)$。对节点 $U_j$ 施加

$$
\operatorname{do}(U_j\leftarrow u)
$$

表示忽略其原结构方程，固定为 $u$，其余下游节点按原模型重算。

模型内部不存在传统观察研究中的未知边；但“把什么视为节点”和“赋什么值”仍由研究者决定。把 residual vector、单 head result、一个投影或 SAE latent 作为 $U_j$，得到的是不同干预。

## 7.2 单样本与分布效应

对输入 $x$，节点干预的个体效应为

$$
\Delta_I(x)=S(M_{I}(x))-S(M(x)).
$$

分布平均效应为

$$
\tau_I(\mathcal D_{\mathrm{eval}})
=\mathbb E_{x\sim\mathcal D_{\mathrm{eval}}}[\Delta_I(x)].
$$

应报告均值、分位数、符号一致率和 cluster bootstrap 区间。平均接近零可能来自正负效应抵消；只展示最大恢复样本则会严重选择偏差。

模型是确定性的并不消除抽样不确定性：$\mathcal D_{\mathrm{eval}}$ 上的有限样本仍决定我们能否推广。

## 7.3 Ablation 及其基线语义

常见 ablation 为：

- zero：$u\leftarrow0$；
- mean：$u\leftarrow\mathbb E_{x\sim\mathcal D_{\mathrm{eval}}}[U(x)]$；
- resample：$u\leftarrow U(x')$，$x'$ 来自匹配对照；
- shuffle：在 batch 或 group 内重排；
- projection：删除子空间 $P_Vu$；
- edge ablation：只阻断 sender 到 receiver 的贡献。

这些操作估计不同量。zero 问“没有该向量加数时怎样”，mean 问“替换为总体中心怎样”，resample 问“替换为对照实例状态怎样”。它们不应被平均成一个无条件必要性分数。

mean 可能从不在自然数据出现；resample 较接近真实 activation，却可能携带对照样本的多种属性。选择基线必须对应要消除的因素。

## 7.4 Clean/corrupt activation patching

构造 clean 输入 $x_c$ 与 corrupt 输入 $x_r$，目标 score 满足 $S_c>S_r$。缓存 site $u$ 的 clean 值 $u_c$，在 corrupt run 中替换：

$$
u_r\leftarrow u_c.
$$

原始恢复量为

$$
\Delta^{patch}_u
=S(M(x_r;\operatorname{do}(u\leftarrow u_c)))-S_r.
$$

常见归一化恢复率

$$
R_u=\frac{S_{patched}-S_r}{S_c-S_r}
$$

仅在分母远离零时稳定，且可小于 $0$ 或大于 $1$。必须同时报告 $S_c,S_r,S_{patched}$ 与未归一化 effect。

## 7.5 Corruption 是实验的一半

patch effect 依赖 clean/corrupt 差异。若 corrupt 同时改变主体、句长与答案位置，patch 恢复可能修复任何一个因素。

必要设计包括：

- 多种 corruption 机制；
- token 数、位置与频率匹配；
- semantic 与 surface corrupt 分离；
- clean/corrupt 双向 patch；
- 在原模型均成功但答案不同的 pairs 上测试；
- 检查 corruption 是否造成广泛 loss 崩坏。

“某 site 携带答案”应进一步区分它生成答案信息、传递上游信息，还是仅把整体 state 拉回 clean 区域。

## 7.6 Necessity 与 Sufficiency 的操作定义

对候选组件集 $C$，设 $M_{\setminus C}$ 为按规定删除 $C$ 的模型，$M_C$ 为只保留 $C$ 的受限模型。可定义

$$
N_C=\mathbb E_{x\sim\mathcal D_{\mathrm{eval}}}
[S(M(x))-S(M_{\setminus C}(x))],
$$

$$
Q_C=\mathbb E_{x\sim\mathcal D_{\mathrm{eval}}}
[S(M_C(x))-S(M_{base}(x))].
$$

$N_C$ 是指定删除下的必要性证据，$Q_C$ 是指定基线与保留规则下的充分性证据。神经网络有冗余：删除单组件无效不证明未参与；只保留一个 direction 后 steering 有效也不证明自然前向依赖它。

必要与充分都不是组件的内在二元属性，而是 $(C,\mathcal D_{\mathrm{eval}},S,I)$ 的关系。

## 7.7 Total、Direct 与路径效应

普通节点 patch 允许替换值沿全部下游路径传播，测量 total intervention effect。若只允许 sender $A$ 的变化经 receiver $B$ 到达输出，则研究 path-specific effect。

线性无交互图中可以把效应相加；一般网络中

$$
\Delta(A\cup B)
\ne\Delta(A)+\Delta(B).
$$

LayerNorm、softmax 和门控使路径相互依赖。所谓 direct/indirect effect 必须由具体边阻断与缓存协议定义，不能直接套用线性中介公式。

## 7.8 Path patching 与状态一致性

path patching 通常经历：

1. clean 与 corrupt run 缓存 sender；
2. 建立含 clean sender 的中间 run；
3. 只把该变化对指定 receiver 的输入传入最终 run；
4. 其他 sender-to-receiver edges 保持 corrupt；
5. 比较目标 score。

不同实现对 receiver 的哪些输入固定、是否重新计算 attention pattern、是否包含 residual identity 并不相同。论文应给出计算图示意或伪代码。

混合多个 run 的节点可能形成没有任何自然输入产生的状态。path-specific 结论因此是“该人工组合中的传递效应”，而非自动可识别的自然路径效应。

## 7.9 Causal tracing

causal tracing 在位置和层上扫描 clean restoration，形成恢复热图。它适合定位事实回忆或实体信息的候选路径。

热图峰值支持：在给定 corruption 下恢复该 site 能有效恢复目标。它不证明：

- 事实永久或唯一存储在该层；
- 该层独立完成事实检索；
- 不同 prompt、关系和语言使用同一路径；
- 参数编辑该层不会有非局部副作用。

位置—层扫描还涉及多重发现，应在独立 pairs 上复验峰值，而不是在同一热图上发现和验证。

## 7.10 Activation steering 与剂量反应

沿方向 $v$ 修改

$$
h'=h+\alpha v
$$

并估计剂量曲线

$$
g(\alpha)=\mathbb E_{x\sim\mathcal D_{\mathrm{eval}}}
[S(M_{\alpha v}(x))].
$$

一个可信控制方向应在小幅区间表现出可重复、方向一致的 effect，并报告：

- $v$ 与 $h$ 的 norm 比；
- 正负 $\alpha$；
- 多层与多位置；
- matched random directions；
- perplexity、格式与非目标能力；
- 大 $\alpha$ 下的分布外崩坏。

steerability 证明方向具有控制作用；只有自然 activation、下游读取和删除证据共同成立时，才支持正常机制参与。

## 7.11 Off-manifold 的定义与诊断

自然 activation 集记为

$$
\mathcal M_{\mathrm{eval}}
=\{u(x):x\sim\mathcal D_{\mathrm{eval}}\}.
$$

任意干预值 $u'$ 可能远离 $\mathcal M_{\mathrm{eval}}$。高维数据没有可靠统一距离，常用诊断包括：

- 与邻近自然 activation 的 Mahalanobis/knn 距离；
- norm、均值和协方差偏移；
- 下游 next-token loss 或 hidden-state density proxy；
- 非目标 logits 的广泛变化；
- 用不同分布内 resampling 得到的结果一致性。

SAE 重构或生成式 projection 也只是另一个模型定义的近似 manifold，不会自动解决问题。

缓解策略是使用真实对照 resample、小幅剂量、norm/covariance matching、多个干预实现与副作用检查。最终结论仍应注明干预族。

## 7.12 Causal abstraction 与 interchange intervention

设低层模型输入空间为 $\mathcal X_M$，内部状态 $U(x)\in\mathcal U$，输出位于 $\mathcal O_M$；高层假说 $H$ 的输入空间为 $\mathcal X_H$，内部变量 $Z\in\mathcal Z$，输出位于 $\mathcal O_H$。给出输入映射 $\alpha_X:\mathcal X_M\to\mathcal X_H$、内部对齐 $\alpha_U:\mathcal U\to\mathcal Z$ 与输出比较映射 $\alpha_O:\mathcal O_M\to\mathcal O_H$。若两模型共用输入空间，可取 $\alpha_X$ 为恒等映射。interchange intervention 从 source input $x_s$ 取内部变量值，替换 base input $x_b$ 的对应表示，并检查低层模型输出经 $\alpha_O$ 后是否匹配高层模型的同类反事实。

给 $\mathcal O_H$ 指定度量或任务损失 $d_O$，并固定容差 $\epsilon\ge0$。单个 pair 的一致性判据为

$$
d_O\!\left(
\alpha_O\bigl(M_{U\leftarrow U(x_s)}(x_b)\bigr),
H_{Z\leftarrow\alpha_U(U(x_s))}
\bigl(\alpha_X(x_b)\bigr)
\right)
\le \epsilon.
$$

再令 $(X_b,X_s)\sim\Pi_{\mathrm{pair}}$ 为预先声明的 base/source 配对分布，定义

$$
\operatorname{IIA}_\epsilon
=P_{(X_b,X_s)\sim\Pi_{\mathrm{pair}}}
\left[
d_O\!\left(
\alpha_O(M_{U\leftarrow U(X_s)}(X_b)),
H_{Z\leftarrow\alpha_U(U(X_s))}(\alpha_X(X_b))
\right)\le\epsilon
\right].
$$

高 $\operatorname{IIA}_\epsilon$ 只支持这些输入、内部与输出映射在 $\Pi_{\mathrm{pair}}$ 和给定容差下的近似因果抽象。若允许任意高容量映射，对齐可能变得空泛；必须限制映射类别、在 held-out interchange pairs 上估计置信区间，并比较随机或错误高层图。离散输出常取 $d_O(a,b)=\mathbf 1\{a\ne b\}$、$\epsilon=0$，此时该定义退化为通常的 interchange-intervention accuracy。

## 7.13 干预下的可识别性

若两个机制假说对所有已测试干预给同样输出，它们仍不可识别。增加更多节点扫描未必解决问题；关键是设计使假说预测相反的干预。

常见不可识别情形：

- 冗余路径使单点 ablation 都无效；
- patch 同时携带多个属性；
- 只看最终 token，忽略中间响应差异；
- 对齐映射容量足以拟合所有 interchange pairs；
- 干预集合没有覆盖组合或反方向操作。

研究报告应列出仍与数据相容的主要替代假说，而不是把“找到一个有效干预”写成唯一解释。

## 7.14 方法审计表

| 方法 | 问题/对象 | 操作与估计量 | 必要控制 | 能支持 | 不能支持与失效 |
|---|---|---|---|---|---|
| ablation | 组件在删除下是否必要 | zero/mean/resample；$N_C$ | 多基线、副作用、组合删除 | 指定删除效应 | 无效即未参与；基线依赖 |
| activation patching | clean state 能否恢复 corrupt 行为 | run 间替换；$\Delta^{patch}$ | corruption、双向 patch、raw score | 指定 site 的恢复效应 | 信息生成位置或唯一存储 |
| path patching | effect 是否经指定 edge/path | 多 run 边隔离；路径恢复 | 实现图、状态一致性、交互 | 人工路径协议下的 effect | 唯一自然中介 |
| steering | 方向是否具有控制能力 | $h+\alpha v$；剂量曲线 | random direction、负向、副作用 | 指定方向控制效应 | 正常前向依赖 |
| interchange intervention | 表示是否实现高层变量 | source/base 交换；IIA | 映射容量、错误图、held-out pairs | 受限映射类的因果抽象 | 唯一或完整算法 |

干预路线能建立模型内部的操作性因果效应。它的严谨性来自明确的赋值与对照，而不是把 `do` 符号写在任意 activation 上。下一章把节点和边组织为可组合的回路假说。