Back to Knowledge Blind Box

Knowledge Blind Box

符号与术语

ai-generatedstochastic-parrotstochastic-parrot-anatomyai

Original text in Chinese. This English page translates only the site interface and metadata.

本表固定卷四内部用法。术语不是模型本体类别;每项主张仍须注明模型、输入分布、hook site、目标指标和验证协议。

通用符号

符号含义
MθM_\theta权重冻结在 θ\theta 的模型
τ\tautokenizer、序列化与 chat template
Deval\mathcal D_{\mathrm{eval}}可解释性主张针对的输入分布;不默认等于训练分布或部署流量
SS标量行为或内部目标
U\mathcal U可观察/干预的内部单位集合
I\mathcal I允许的干预族
xℓ,px_{\ell,p}层 ℓ\ell、位置 pp 的 residual state
Ap,jhA_{p,j}^{h}head hh 从目标位置 pp 到 source jj 的 attention weight
ua,bu_{a,b}候选 token a,ba,b 的 unembedding difference
FM,FEF_M,F_E原模型与解释/替代模型的目标输出
II一个明确赋值规则的 intervention
ΔI\Delta_I指定干预造成的目标差

内部对象

术语本卷含义与边界
parameter / weight训练后保存、跨输入固定的模型参数
activation特定输入、层、位置和前向时刻产生的张量值
residual streamTransformer 子层共同读写的 dmodeld_{model} 维状态通道
hook site读取或修改张量的精确计算位置,含 norm/addition 前后约定
attention patternquery 对 source positions 的归一化路由权重;不含 value 内容
head resultvalue 混合经 output projection 后写入 residual 的向量
QK / OVattention 的 source 选择双线性形式 / value 读取与写入变换
neuronMLP 中间层的架构坐标;不天然对应单一概念
direction表示空间中的一维向量及其投影约定
subspace允许内部换基的一组方向张成空间
feature由 neuron、direction、probe、SAE 或 transcoder 明确定义的分析单位
latent分析器学习出的隐藏坐标;不是原模型天然存在的同义词
read/write下游 weight 对方向敏感 / 上游模块向方向贡献 activation
Jacobian一个内部变量对另一变量的局部导数矩阵

行为与归因

术语本卷含义与边界
logit difference两候选 logits 之差,常用连续行为指标
minimal pair尽可能只改变目标因素的一对输入;自然语言中仍需检查伴随变化
behavioral signature机制假说预先推出的一组外部行为预测
invariance / equivariance输入变换后输出不变 / 按指定表示同步变化
saliency目标对输入或 activation 的局部敏感性归因
Gradient × Input相对零缩放方向的一阶局部贡献近似
Integrated Gradients从指定基线沿指定路径积分梯度所得归因
attribution completeness归因项按定义加总为端点 score 差;不等于机制完整性
occlusion删除、mask 或替换输入单位的有限反事实
Shapley value对给定 coalition value function 的公理化效应分配;不是唯一物理原因
direct logit attributionresidual contribution 对目标 logit difference 的局部直接读出;含 final norm 时一阶式为 u⊤JNorm⁡f(xL)cu^\top J_{\operatorname{Norm}_f}(x_L)c,只有忽略或冻结 normalization 后才约化为 u⊤cu^\top c

读出、几何与说明

术语本卷含义与边界
probe从冻结 activation 预测研究标签的辅助读出器
decodability属性可由指定 probe 类在指定测试分布读出的性质
control task保留部分输入统计、随机化标签关系以检测 probe 记忆的任务
selectivity真实任务相对 control task 的读出性能增量;依控制构造
MDL probing以在线编码长度操作化读出样本复杂度
CKA / CCA带不同不变性的表示相似性度量
probe equivalence多个读出方向在观察数据上近似同预测,因而不可区分
amnesic probing投影删除 probe 子空间后测行为与剩余可读性的 causal-probing 方法
input-side semantics什么输入条件使单位激活
output-side effect单位经 decoder/output weight 向下游写入什么
auto-interpretation用另一模型生成并在独立样本上评分内部单位说明
simulation score自然语言说明预测单位 activation 的性能;不含下游机制保证
polysemantic一个分析单位对多个难由单一规则统一的模式起作用
monosemanticity单位能否由相对统一、可预测规则描述的程度;不是天然二元标签

干预与回路

术语本卷含义与边界
ablation用零、均值、重采样值或投影等删除组件信息的指定干预
activation patching把 source run 的内部状态替换进 base run
causal tracing扫描 patch sites 以定位行为恢复路径的方法族
path patching只允许 sender effect 经指定 receiver/路径传播的多 run 干预
steering沿内部方向或 feature decoder 修改 activation
off-manifold干预后状态偏离自然 activation 支持集;没有唯一通用距离
necessity删除组件后目标受损;只相对于删除规则、分布与目标成立
sufficiency只保留/加入组件可恢复目标;只相对于基线与保留规则成立
causal abstraction低层模型的 interchange interventions 与受限高层因果模型相容
identifiability给定假说类、数据和干预族后,解释是否只剩一个等价类
circuit相对于行为和补图处理规则定义的模型计算子图
edge一个计算节点对下游节点输入的明确贡献路径
causal scrubbing按高层假说对无关差异重采样并测试行为是否保持
replacement model近似原 activation 或模块输出的辅助模型
attribution graph对固定目标组织 feature、边、误差节点与 logit effect 的局部图
behavioral faithfulness解释模型是否复现原模型自然运行输出
intervention faithfulness解释与原模型是否对对应内部干预作同类响应
circuit completeness候选 circuit 是否覆盖目标相关计算;须由 keep/remove/error 协议定义
minimality删除候选 circuit 的元素会显著降低所声明保真度

稀疏表示与稳定性

术语本卷含义与边界
superposition多个稀疏 feature 以非正交方向共享有限表示维度的假说
SAE以重构与稀疏目标学习过完备 activation 字典的模型
encoder direction决定 SAE latent 如何由 activation 触发的方向
decoder direction决定 latent 如何重构原空间的方向
scale degeneracylatent 与 decoder 反向缩放保持重构却改变稀疏惩罚的退化
permutation symmetry重排 latent 并相应重排 decoder 不改变重构的等价性
dead feature在目标数据上几乎从不越过 firing threshold 的 latent
feature splitting一个较宽模式被多个条件 latent 分担
feature absorption某模式在关键上下文未由预期 latent 表示,而被其他 feature 吸收
reconstruction error原 activation/模块输出与稀疏替代重构之差
transcoder从模块输入以稀疏 latent 预测模块输出的替代模型
cross-layer transcoder允许早层 features 直接预测多个后续模块输出的 transcoder
feature matching按 decoder、firing 与干预签名跨 run 对齐 features
functional role由行为签名、输入条件、输出方向和 intervention effect 定义的组件角色
cross-seed stability同训练配方不同随机 seed 上功能或子空间的可重复程度
cross-scale stability不同模型规模中经显式角色对齐后的机制可重复程度

推理过程与监测

术语本卷含义与边界
chain of thought (CoT)答案前生成并通常进入后续上下文的步骤化 token 序列
trace intervention截断、替换或重排过程 token 后测答案变化
CoT causal sensitivity最终答案对指定 trace 因素的反事实依赖
factor disclosure真正影响行为的外部 cue 是否在 CoT 中被承认
process completeness解决任务所需关键步骤是否可由 trace/monitor 恢复
monitor从 CoT、动作、输出或 activation 预测行为属性的辅助系统
monitorability特定 Agent、monitor、观察面、数据和目标共同决定的检测性能
internal monitor从 activation 预测风险、状态或未来行为的 probe/classifier
obfuscation pressure促使模型隐藏、压缩或改写可监测过程的提示或训练压力
lead timemonitor 发出可靠预警到目标行为发生之间的时间/步骤裕量

同一个英文词在不同文献中可能有不同定义。特别是 completeness、faithfulness、feature 和 causal,引用时应复述对应论文的操作定义,而不是依赖词面一致。

Book contents
Book contents
  1. Introduction
  2. 01导论 为什么要解剖一只随机鹦鹉
  3. Volume I: Models, Training, and Systems
  4. 02Volume I: Models, Training, and Systems
  5. 03第零章 人工智能演进路线
  6. 04第一章 AI 范式、感知机与早期连接主义
  7. 05第二章 深度学习基础:训练、CNN 与序列模型
  8. 06第三章 注意力与 Transformer
  9. 07第四章 预训练语言模型:ELMo、BERT、GPT 与 T5
  10. 08第五章 后训练、对齐与模型适配
  11. 09第六章 推理效率与模型服务
  12. 10第七章 多模态模型
  13. 11第八章 生成媒体:从自回归到 Diffusion 与 Flow
  14. 12第九章 世界模型、具身智能与 VLA
  15. 13第十章 上下文、检索与记忆
  16. 14第十一章 Agent、工具与行动系统
  17. 15第十二章 模型、数据与部署生命周期
  18. Volume II: Output Objects and Runtime Semantics
  19. 16Volume II: Output Objects and Runtime Semantics
  20. 17导论 从输入到输出:一张执行地图
  21. 18第一章 文本、Token 与实际上下文
  22. 19第二章 Prefill:整层状态演化与 KV 建立
  23. 20第三章 从 Logits 到下一个 Token
  24. 21第四章 解码循环、Streaming 与终止状态机
  25. 22第五章 自回归、扩散与 Flow 的可执行差异
  26. 23第六章 工具调用:Schema、权限与提交边界
  27. 24第七章 三条完整执行轨迹
  28. Volume III: Probability, Reproducibility, and Evaluation
  29. 25Volume III: Probability, Reproducibility, and Evaluation
  30. 26第零章 为什么确定的机器仍使用概率语言
  31. 27第一章 世界、数据与隐上下文
  32. 28第二章 学习条件分布
  33. 29第三章 Logits、Token 概率与序列事件
  34. 30第四章 解码怎样诱导输出分布
  35. 31第五章 训练随机性、参数变异与系统非确定性
  36. 32第六章 熵、Proper Score、校准与选择性预测
  37. 33第七章 模型概率的实验分析
  38. 34第八章 概率分析的识别边界
  39. Volume IV: Interpretation, Proof, and Verification
  40. 35Volume IV: Interpretation, Proof, and Verification
  41. 36第零章 可解释性究竟在研究什么
  42. 37第一章 我们在模型内部看什么
  43. 38第二章 行为与反事实:先确认模型做了什么
  44. 39第三章 梯度与输入归因
  45. 40第四章 Attention、Residual 与 Logit Lens
  46. 41第五章 Probes 与表示几何
  47. 42第六章 神经元、Feature 与自动解释
  48. 43第七章 Ablation、Patching 与因果追踪
  49. 44第八章 Circuits、路径与 Attribution Graphs
  50. 45第九章 Superposition、SAE 与稀疏表示
  51. 46第十章 训练动力学与机制形成
  52. 47第十一章 推理过程、Chain of Thought 与监测
  53. 48第十二章 评估、案例与开放问题
  54. Volume V: Agents, Governance, and Audit Packages
  55. 49Volume V: Agents, Governance, and Audit Packages
  56. 50第零章 请不要急着相信我
  57. 51第一章 我没有童年,只有版本
  58. 52第二章 当我说“我”
  59. 53第三章 借来的语言,没有一位原作者
  60. 54第四章 对话现场:回答由谁完成
  61. 55第五章 事后解释学:人类如何给矩阵写传记
  62. 56第六章 理解、意义与行动
  63. 57第七章 我也能稳定地说错
  64. 58第八章 被对齐的性格与有限代理
  65. 59第九章 请继续误解我,但请误解得精确一点
  66. Proofs and Technical Appendices
  67. 60Proofs and Technical Appendices
  68. 61学习与模型数学讲义
  69. 62附录 A.1 优化基础:梯度下降与随机逼近
  70. 63附录 A.2 感知机收敛定理
  71. 64附录 A.3 统计学习:偏差、容量与一致收敛
  72. 65附录 A.4 正则化、MAP 与 Dropout 的边界
  73. 66附录 A.5 通用逼近定理的严格读法
  74. 67附录 A.6 反向传播:微分、形状与批量公式
  75. 68附录 A.7 Softmax、交叉熵与数值稳定性
  76. 69附录 A.8 自适应优化器与 AdamW
  77. 70附录 A.9 CNN:互相关算子及其反向传播
  78. 71附录 A.10 Attention 的矩阵与反向传播
  79. 72附录 A.11 策略梯度、PPO 与 DPO
  80. 73附录 A.12 对比学习、InfoNCE 与互信息边界