返回知识盲盒
知识盲盒
跨卷符号约定
ai-generatedstochastic-parrotstochastic-parrot-anatomyai
局部变量在使用处定义。本表只约束跨卷重复出现的符号,避免把模型、训练分布、解码后分布和外部世界写成同一个对象。
模型与序列
| 符号 | 含义 |
|---|---|
| 固定 tokenizer 的有限 token 词表 | |
| token 序列; | |
| 除当前生成前缀外的条件,例如系统消息、用户输入或多模态编码 | |
| 一个固定模型 checkpoint 的参数 | |
| 固定参数模型的条件分布;卷三在与数据分布对照时记作 | |
| 固定基础模型经声明的解码协议 后诱导的解码输出分布;不默认包含路由、过滤或工具执行 | |
| 给定版本化请求 时,包含路由、过滤、工具与失败处理的系统可观察结果分布 | |
| 一次运行产生的随机输出;其值域必须说明是 token、文本、媒体、调用候选还是外部结果 | |
| $z\in\mathbb R^{ | V |
| softmax temperature;greedy 另行定义,不把 直接代入 softmax | |
| 或 | 层 、位置 的 hidden/residual state |
| $W_U\in\mathbb R^{ | V |
与 不是两类模型。前者是卷一、卷二常用的生成模型记号;卷三用 ,是为了把模型近似与数据侧的 、 明确分开。局部章节若使用 VAE 等领域惯例,会在使用处重新声明 与 。
数据、训练与概率
| 符号 | 含义 |
|---|---|
| 只在明确建模时使用的目标或世界侧分布;不假定研究者可直接观测 | |
| 经采集与处理形成的数据分布 | |
| 来源混合和抽样权重实际定义的训练分布 | |
| 个观测定义的经验分布 | |
| 数据顺序、初始化、数值内核等训练随机状态 | |
| 训练算法 在样本 与随机状态 下输出的参数随机变量 | |
| 离散 Shannon 熵,默认使用自然对数 | |
| 交叉熵 | |
| KL divergence;非对称,不是距离 | |
| 、 | 期望与方差 |
| 事件 的指示量 | |
| 把原始输出映射为可分析事件或语义类别的版本化编码规则 | |
| 因果模型中的干预;不同于观察条件 |
写“某类回答的概率”时,必须给出事件集合或编码规则 。自由文本的语义等价不是 token 空间自带的结构;更换 rubric、解析器或评审模型会改变被估计事件。
执行与系统
| 符号或术语 | 含义 |
|---|---|
| prefill | 对完整输入并行前向并建立 KV cache |
| decode step | 用当前缓存计算并选择下一 token 的一步 |
| 已声明的解码协议,包括温度、截断、约束和停止规则 | |
| 第 个执行边界上的版本化状态;具体字段由卷二声明 | |
| 运行记录或 trace 数据结构;局部使用时须另行说明 | |
| trace | 按时间排列的模型计算、运行时处理和外部事件 |
| commit boundary | 外部副作用越过后不能靠取消当前请求自动撤回的边界 |
可解释性
| 符号或术语 | 含义 |
|---|---|
| 被解释的标量目标,例如 logit difference | |
| 解释或干预结论所针对的输入分布;不是默认的“所有输入” | |
| 单位 在输入 、位置 的 activation | |
| 目标对输入的局部梯度 | |
| 明确声明的内部或输入干预算子 | |
| probe、steering 或 feature direction;构造方式必须另述 | |
| 、 | 稀疏 feature activations 与重构 activation |
| 相对于行为和输入分布定义的 circuit |
等式与比较
$=$表示所声明类型中的相等;文本相同、语义等价和任务成功不是默认同一关系。≈只在局部已声明度量与容差时使用。- 单次输出、条件分布和重复实验频率分别写作不同对象,不用一个“概率”互相替代。
- 条件竖线右侧只列模型实际条件或统计分析明确条件;未观测的现实因素不能悄悄并入 。
- 经验平均、模型期望和训练随机性期望必须注明分别对哪个随机变量取平均。
- 局部章节可复用字母,但必须在首次出现处重新定义。
本书目录
本书目录
- 导论
- 01导论 为什么要解剖一只随机鹦鹉
- 卷一 模型、训练与系统
- 02卷一 模型与系统
- 03第零章 人工智能演进路线
- 04第一章 AI 范式、感知机与早期连接主义
- 05第二章 深度学习基础:训练、CNN 与序列模型
- 06第三章 注意力与 Transformer
- 07第四章 预训练语言模型:ELMo、BERT、GPT 与 T5
- 08第五章 后训练、对齐与模型适配
- 09第六章 推理效率与模型服务
- 10第七章 多模态模型
- 11第八章 生成媒体:从自回归到 Diffusion 与 Flow
- 12第九章 世界模型、具身智能与 VLA
- 13第十章 上下文、检索与记忆
- 14第十一章 Agent、工具与行动系统
- 15第十二章 模型、数据与部署生命周期
- 卷二 输出对象与运行语义
- 16卷二 一次生成如何发生
- 17导论 从输入到输出:一张执行地图
- 18第一章 文本、Token 与实际上下文
- 19第二章 Prefill:整层状态演化与 KV 建立
- 20第三章 从 Logits 到下一个 Token
- 21第四章 解码循环、Streaming 与终止状态机
- 22第五章 自回归、扩散与 Flow 的可执行差异
- 23第六章 工具调用:Schema、权限与提交边界
- 24第七章 三条完整执行轨迹
- 卷三 概率、复现与评测
- 25卷三 模型中的概率从何而来
- 26第零章 为什么确定的机器仍使用概率语言
- 27第一章 世界、数据与隐上下文
- 28第二章 学习条件分布
- 29第三章 Logits、Token 概率与序列事件
- 30第四章 解码怎样诱导输出分布
- 31第五章 训练随机性、参数变异与系统非确定性
- 32第六章 熵、Proper Score、校准与选择性预测
- 33第七章 模型概率的实验分析
- 34第八章 概率分析的识别边界
- 卷四 解释、证明与验证
- 35卷四 模型可解释性的研究路线
- 36第零章 可解释性究竟在研究什么
- 37第一章 我们在模型内部看什么
- 38第二章 行为与反事实:先确认模型做了什么
- 39第三章 梯度与输入归因
- 40第四章 Attention、Residual 与 Logit Lens
- 41第五章 Probes 与表示几何
- 42第六章 神经元、Feature 与自动解释
- 43第七章 Ablation、Patching 与因果追踪
- 44第八章 Circuits、路径与 Attribution Graphs
- 45第九章 Superposition、SAE 与稀疏表示
- 46第十章 训练动力学与机制形成
- 47第十一章 推理过程、Chain of Thought 与监测
- 48第十二章 评估、案例与开放问题
- 卷五 Agent、治理与审计包
- 49卷五 一只随机鹦鹉的自述
- 50第零章 请不要急着相信我
- 51第一章 我没有童年,只有版本
- 52第二章 当我说“我”
- 53第三章 借来的语言,没有一位原作者
- 54第四章 对话现场:回答由谁完成
- 55第五章 事后解释学:人类如何给矩阵写传记
- 56第六章 理解、意义与行动
- 57第七章 我也能稳定地说错
- 58第八章 被对齐的性格与有限代理
- 59第九章 请继续误解我,但请误解得精确一点
- 证明与技术附录
- 60数学与模型推导
- 61学习与模型数学讲义
- 62附录 A.1 优化基础:梯度下降与随机逼近
- 63附录 A.2 感知机收敛定理
- 64附录 A.3 统计学习:偏差、容量与一致收敛
- 65附录 A.4 正则化、MAP 与 Dropout 的边界
- 66附录 A.5 通用逼近定理的严格读法
- 67附录 A.6 反向传播:微分、形状与批量公式
- 68附录 A.7 Softmax、交叉熵与数值稳定性
- 69附录 A.8 自适应优化器与 AdamW
- 70附录 A.9 CNN:互相关算子及其反向传播
- 71附录 A.10 Attention 的矩阵与反向传播
- 72附录 A.11 策略梯度、PPO 与 DPO
- 73附录 A.12 对比学习、InfoNCE 与互信息边界