# 导论 为什么要解剖一只随机鹦鹉

《随机鹦鹉解剖学》章节：导论 为什么要解剖一只随机鹦鹉。

## Metadata

- HTML: https://glenzli.com/dr-stochastic-parrot/stochastic-parrot-anatomy/00-preface-and-scope/
- Markdown: https://glenzli.com/dr-stochastic-parrot/stochastic-parrot-anatomy/00-preface-and-scope.md
- Collection: Dr. Stochastic Parrot
- Language: zh-CN
- Published: 2026-07-17
- Status: published
- Tags: ai-generated, stochastic-parrot, stochastic-parrot-anatomy, ai

## Content

“大模型回答了一个问题”听起来像一句完整描述，实际上压缩了许多不同对象：训练过的参数、被模板加工的上下文、一次前向传播、解码器的选择、服务端调度、可能存在的检索与工具、屏幕上的文字，以及读者赋予文字的意义。

本书所谓“解剖”，就是把这些对象重新分开。分开不是为了把模型说小，而是为了让复杂性落在正确位置。

## 1 五层解剖

全书沿五个尺度前进：

$$
\text{模型与系统}
\longrightarrow
\text{一次执行}
\longrightarrow
\text{概率结构}
\longrightarrow
\text{内部机制}
\longrightarrow
\text{叙事与主体归属}.
$$

第一层问“什么被训练和部署”；第二层问“这次输出怎样形成”；第三层问“条件分布为什么是这样”；第四层问“哪些内部表示和回路参与计算”；第五层问“当这些过程被压成一个会说‘我’的界面时，人类怎样理解它”。

后一层不能替代前一层。人格隐喻不能说明 decode loop，attention 热图不能替代概率校准，token 概率也不能证明事实。

## 2 模型不是系统

一个 checkpoint 是参数化计算对象。用户实际使用的系统还可能包含：

- tokenizer 与 chat template；
- system prompt 和会话历史；
- 检索、长期记忆与缓存；
- 解码器、过滤器和调度器；
- 文件、浏览器、数据库和代码工具；
- 权限、确认、预算与外部服务。

同一模型在不同系统中可以有完全不同的能力边界。没有文件工具的模型只能建议修改；拥有写权限的 Agent 可以改变文件；两者即使生成相同自然语言，现实后果也不同。

## 3 输出不是一个对象

一次文本回答至少经历 token IDs、内部状态、被选 token、增量反分词、网络片段和最终显示文本。工具任务还会产生调用候选、验证结果、外部回执与副作用。

“输出相同”必须说明在哪一层相同：token 序列相同、显示文本相同、语义相近，还是任务后置条件相同。卷二用三条完整执行轨迹建立这些区别，而不再引入一套与解释无关的形式逻辑。

## 4 概率不是一种模糊气氛

模型概率可以指数据中条件结果的多样性、训练运行产生的 checkpoint 差异、固定模型给出的 softmax，或解码器最终抽取输出的分布。它们属于不同随机变量。

卷三把概率放回具体位置：隐上下文怎样形成条件混合，交叉熵怎样拟合训练分布，temperature 和 top-p 怎样改写基础分布，校准又如何把预测分数与经验频率比较。严格性来自对象清楚，不来自尽可能多地搬入一般测度论。

## 5 看见内部数字还不叫解释

神经元 activation、attention weights、probe direction 和 SAE feature 都可以被观察，但它们支持不同结论：

- activation 共现是描述性证据；
- held-out probe 是可读出证据；
- ablation 与 patching 是指定干预下的因果证据；
- 可组合、可预测、经干预验证的 circuit 才接近机制解释。

可解释性仍是快速变化的研究领域。卷四按路线和证据强度介绍它，而不是强行宣布一套完成的理论。

## 6 “随机鹦鹉”的正确位置

这个称呼提醒我们：流利语言不自动等于理解，训练数据也不是没有作者和历史的自然资源。但隐喻不能取代模型结构。现代系统会压缩、组合、检索、行动和适应上下文；把它说成简单复读，同样是不准确的。

卷五因此保留隐喻，又要求隐喻在承担事实时退回技术对象。它使用第一人称，不把第一人称当作主体性证书。

## 7 本书怎样使用数学

数学只在它完成以下工作时进入正文：

- 明确张量形状与计算顺序；
- 区分条件分布、序列分布和系统分布；
- 推导训练目标、估计量或误差；
- 给干预、重构和评估指标精确定义；
- 暴露文字叙述中容易隐藏的条件。

若一个公式只把普通工程事实换成更难读的符号，而没有增加解释或可检验性，本书宁愿使用清楚的语言与伪代码。必要的长推导放在附录，避免打断技术主线。

## 8 五类陈述不能共用一种证明方式

本书会反复出现五类陈述：

1. **定义与恒等式**：由约定或代数直接成立，责任是把对象、维数和等号类型写完整。
2. **数学结果**：只在所列假设下成立，责任是给出证明、可靠出处或足以复核的推导。
3. **经验结果**：由有限模型、数据和实验协议支持，责任是报告总体、估计量、对照、不确定性与外推边界。
4. **工程判断**：依赖硬件、负载和实现，责任是给出成本模型、测量口径与失效条件。
5. **哲学或规范命题**：依赖概念区分、前提与价值选择，责任是陈述论证、反对意见和尚未被技术事实决定的部分。

把经验趋势写成定理、把工程经验写成架构本质，或把哲学立场伪装成一次实验的直接结论，都会造成假的严格性。研究级阅读首先要识别一句话属于哪一类，再判断它是否承担了对应的证据责任。

## 9 证据纪律

全书采用四条写作纪律：

1. **经验结论带范围**：说明模型、数据、任务与方法，不从单个案例外推所有系统。
2. **公式带对象**：每个概率、变量和指标说明条件与层级。
3. **解释带反例**：说明什么观察会推翻 feature 或 circuit 假说。
4. **行动带边界**：区分模型提议、运行时授权和外部世界提交。

这些纪律不会让所有争议消失。它们只确保争议发生在同一个问题上。

## 10 从哪里开始

第一次系统阅读建议从卷一开始；已经熟悉 Transformer 的读者，也不应跳过卷一关于多模态、生成媒体、Agent 和模型生命周期的新分章。只想理解一次回答的读者可直接进入卷二；卷三和卷四分别提供概率与内部机制的纵向切面。

最后再读卷五。那时，“我没有童年，只有版本”不再是一句漂亮但空泛的比喻，而是对前四卷技术边界的一次文学压缩。

## 11 学习目标与开放边界

一个纳入本书的主题应在承诺范围内具备六个接口：研究对象已定义，核心计算或论证可复核，典型反例与失效模式已给出，经验主张能追溯到来源，读者知道该结论不能推出什么，并且后续各卷可以直接使用已经建立的概念。

这也是本书采用的研究生层级标准：读者不仅能复述术语，还应能重建一次计算，设计一个对照实验，识别一个估计量的目标总体，检查一项解释主张的证据强度，并指出某个哲学结论中哪些前提不是由模型结构单独决定的。博士层级的开放问题继续作为研究问题保留，不以虚假的完备性掩盖未知。