← 返回书架人工智能 · 交互式 Wiki

模型能力与应用进阶专题讲解

MODEL MECHANISMS / IN-CONTEXT LEARNING

上下文学习：固定权重怎样利用新示例

输入改变后，激活、注意力和后续预测随之改变。从一个模式复制电路出发，再看研究者怎样定位特征、设计干预、检验内部机制。

01 / CONDITIONING

“临时学会”，可以指哪些变化？

识别本次要做的任务

示例提示输出格式、标签含义或任务类型，模型选择已学到的行为。换标签、换格式和换示例顺序可以检查这种依赖。

利用本次输入提供的关系

上下文中出现 A→B 的对应，模型可在后续 A 出现时利用它。输入内关系的使用与训练期间学到的先验共同影响答案。

中间状态保存临时信息

残差流与 KV 携带当前前缀的状态。改变示例通常需要重算受影响的前缀，不能继续沿用不同内容对应的 KV。

实验要控制哪些变量

示例内容、标签、顺序、相似度、数量和长度；固定模型与采样协议。例子更多可能带来干扰或超出有效上下文范围。

上下文学习包含多种现象：从简单重复模式到 few-shot 任务适应。不同研究使用“序列后半段 loss 改善”“新标签任务准确率”等不同定义，阅读结论时先看实验测的是什么。

02 / INDUCTION

A 后面曾跟着 B，再看到 A 时怎样找到 B？

01 / PREVIOUS TOKEN

写入前一项信息

位置 B 的状态带上“前一个 token 是 A”的信息。

02 / MATCH

用当前 A 匹配

后面出现 A 时，查询寻找“前一个 token 为 A”的历史位置。

03 / COPY

读取那个位置的内容

匹配到的位置保存 B，输出路径把 B 的 logit 提高。

04 / PREDICT

形成后续分布

本例在 B、D 两个候选中归一化，比较换示例与断开路径的结果。

固定规则的模式复制电路

构造性示意 · 未加载 Transformer

历史示例写入前一 token 信息匹配历史位置复制到输出分数

复制内容

P(B)

P(D)

位置	Token	前项信息

B/D 初始 logits 均为 0，完整路径给复制项加 2，再做 softmax；断开任一环节则回到均匀分布。依赖关系由本例手工定义，实验结果仅验证这套规则。

Olsson 等（2022）的 induction head 研究在小型 attention-only 模型中分析了类似的两头组合，并进行了消融。对大型、多层、带 MLP 的模型，其论文使用的是更间接的证据。一个可解释电路提供局部机制，广泛的任务适应仍需要更多跨模型研究。

03 / FEATURES

一个维度或神经元，对应一个概念吗？

内部表示可以在多个维度上共同编码一个特征，一个神经元也可能对多个模式响应。Superposition 研究用玩具网络分析：稀疏特征可能通过非正交方向共享有限表示空间，代价是干扰。这是关于编码方式的模型与证据，不能据此给真实模型每个坐标指定固定语义。

\begin{aligned}f&=\operatorname{ReLU}(W_{enc}h+b_{enc}),\\\hat h&=W_{dec}f+b_{dec},\\\mathcal L_{\mathrm{SAE}}&=\lVert h-\hat h\rVert_2^2+\lambda\lVert f\rVert_1.\end{aligned}

特征可解释性需要样本支持

查看高激活样本、低激活对照、不同语言和上下文。一个简洁名称只是解释假设，需检查误触发与遗漏。

重构误差影响后续结论

SAE 没重构出的信息可能仍对行为重要。更稀疏、更容易命名和更忠实地保留原计算之间，需要用任务结果衡量。

特征拆分与吸收

字典大小和训练目标可能把一个模式拆成多个特征，或让多个模式混在一起。不同训练得到的特征 ID 不能直接当成天然的概念编号。

从特征走向路径

找到某个激活后，还要追踪它通过哪些层和投影影响输出。Circuit tracing 尝试构建局部可读的计算关系，并以干预检验部分关系。

04 / EVIDENCE

探针、消融和激活替换，各能支持什么结论？

方法	操作	提供的证据	需要控制
线性探针	从内部状态预测标签。	信息可被读出。	标签泄漏、探针容量、泛化；读得出还需检验原模型是否使用。
消融	删去或替换指定激活/路径。	该干预下行为对部件的依赖。	零值可能分布外，替换基线与冗余路径会改变结论。
Activation patching	在干净/扰动运行间移植某处激活。	某状态能否恢复或改变结果。	输入对照、层位置、替换范围、下游混合与多重选择。
路径追踪	结合特征与跨层连接建局部解释。	可检验的计算路径假设。	替代模型的保真度、未解释计算、任务范围及复现。

Anthropic 的 2025 年 circuit tracing 工作展示了特定任务上的路径分析和干预。报告一个内部机制时，写清楚模型版本、输入集合、干预方法和效应大小；可见 CoT、探针标签和因果计算路径应分别检验。

CoT 与 J-space 自信、正确性与证据残差与权重计算路径

适用范围与一手资料

归纳电路采用固定规则和二分类 logits，未加载或训练 Transformer。特征、SAE 与干预分别介绍方法；手工电路上的消融不能证明真实模型使用相同路径。

公式与机制的原始依据 · 4 项

In-context Learning and Induction Heads (2022)前项头和归纳头组合；小模型因果分析与大模型间接证据的区别
Toy Models of Superposition (2022)稀疏特征共享表示维度、特征干扰与玩具模型分析
Anthropic · Tracing the thoughts of a large language model (2025-03-27)特征、局部计算路径和干预案例，方法与解释范围
Language Models Don't Always Say What They Think (2023)CoT 解释的忠实性与偏置实验