Back to Knowledge Blind Box
Knowledge Blind Box
Volume II: Output Objects and Runtime Semantics
ai-generatedstochastic-parrotstochastic-parrot-anatomyai
Original text in Chinese. This English page translates only the site interface and metadata.
卷一从历史、训练和系统结构解释模型;本卷把镜头收紧到一次具体请求。它沿真实依赖顺序追踪:请求怎样被序列化,文本怎样成为 token,prefill 怎样逐层建立 KV cache,logit 处理器怎样形成实际候选,decode 与 streaming 怎样终止,以及工具调用何时真正越过外部提交边界。
本卷的中心对象不是“模型能力”,而是执行状态。每章都按同一方法组织:
- 定义输入、状态所有者和输出;
- 给出可以实现的伪代码或状态转移;
- 声明必须保持的不变量;
- 列出最早失败边界;
- 给出能够手算或重放的固定夹具。
数学只用于区分张量、条件前缀和更新核。它不承担装饰功能,也不把工程事件提升成不必要的形式逻辑。
本卷边界
本卷回答“一次生成在机器中怎样发生”,不重复三类问题:
- Transformer 为什么采用某种设计、模型怎样训练和服务优化:见卷一;
- token 概率从数据和目标函数中怎样形成、可以解释什么:见卷三;
- 隐藏状态、神经元、feature 与因果干预怎样研究:见卷四。
工具章节只讲 schema、权限、幂等、重试和提交状态如何参与一次执行,不扩展为一般 Agent 工程、治理或责任框架。
章节
- 从输入到输出:一张执行地图
- 文本、Token 与实际上下文
- Prefill:整层状态演化与 KV 建立
- 从 Logits 到下一个 Token
- 解码循环、Streaming 与终止状态机
- 自回归、扩散与 Flow 的可执行差异
- 工具调用:Schema、权限与提交边界
- 三条完整执行轨迹
统一步序
全卷采用一个明确约定:prefill 后 cache 只含提示并已有首步 logits;第 次选择之前,cache 含提示和前 个输出;若新 token 不触发终止,下一次 decode 才把它写入 cache 并产生再下一步 logits。这个约定避免“token 已选择”“token 已进入模型”和“token 已显示”之间的 off-by-one 混乱。
阅读结果
读完本卷,读者应能够:
- 从请求对象恢复渲染字节、token IDs、mask 与 position IDs;
- 为 prefill 和单 token decode 写出逐层张量形状与 KV 长度;
- 重放一条有序 logit processor 管线并定位首次候选分歧;
- 区分 token selected、cache updated、bytes emitted 与 client rendered;
- 为 EOS、停止串、长度、取消、背压和失败画出合法终态;
- 写出自回归、连续扩散、离散扩散和 flow 各自的 state/update/terminal;
- 判断工具调用处于 proposed、authorized、committed 还是 outcome unknown;
- 用三条端到端轨迹的事件和不变量检查实现。
如果这些问题仍只能用“模型生成了结果”概括,读者就尚未达到本卷目标;如果每一步的输入、决定者、状态与失败边界都能被指出,读者便已掌握本卷要求的执行语义。
Book contents
Book contents
- Introduction
- 01导论 为什么要解剖一只随机鹦鹉
- Volume I: Models, Training, and Systems
- 02Volume I: Models, Training, and Systems
- 03第零章 人工智能演进路线
- 04第一章 AI 范式、感知机与早期连接主义
- 05第二章 深度学习基础:训练、CNN 与序列模型
- 06第三章 注意力与 Transformer
- 07第四章 预训练语言模型:ELMo、BERT、GPT 与 T5
- 08第五章 后训练、对齐与模型适配
- 09第六章 推理效率与模型服务
- 10第七章 多模态模型
- 11第八章 生成媒体:从自回归到 Diffusion 与 Flow
- 12第九章 世界模型、具身智能与 VLA
- 13第十章 上下文、检索与记忆
- 14第十一章 Agent、工具与行动系统
- 15第十二章 模型、数据与部署生命周期
- Volume II: Output Objects and Runtime Semantics
- 16Volume II: Output Objects and Runtime Semantics
- 17导论 从输入到输出:一张执行地图
- 18第一章 文本、Token 与实际上下文
- 19第二章 Prefill:整层状态演化与 KV 建立
- 20第三章 从 Logits 到下一个 Token
- 21第四章 解码循环、Streaming 与终止状态机
- 22第五章 自回归、扩散与 Flow 的可执行差异
- 23第六章 工具调用:Schema、权限与提交边界
- 24第七章 三条完整执行轨迹
- Volume III: Probability, Reproducibility, and Evaluation
- 25Volume III: Probability, Reproducibility, and Evaluation
- 26第零章 为什么确定的机器仍使用概率语言
- 27第一章 世界、数据与隐上下文
- 28第二章 学习条件分布
- 29第三章 Logits、Token 概率与序列事件
- 30第四章 解码怎样诱导输出分布
- 31第五章 训练随机性、参数变异与系统非确定性
- 32第六章 熵、Proper Score、校准与选择性预测
- 33第七章 模型概率的实验分析
- 34第八章 概率分析的识别边界
- Volume IV: Interpretation, Proof, and Verification
- 35Volume IV: Interpretation, Proof, and Verification
- 36第零章 可解释性究竟在研究什么
- 37第一章 我们在模型内部看什么
- 38第二章 行为与反事实:先确认模型做了什么
- 39第三章 梯度与输入归因
- 40第四章 Attention、Residual 与 Logit Lens
- 41第五章 Probes 与表示几何
- 42第六章 神经元、Feature 与自动解释
- 43第七章 Ablation、Patching 与因果追踪
- 44第八章 Circuits、路径与 Attribution Graphs
- 45第九章 Superposition、SAE 与稀疏表示
- 46第十章 训练动力学与机制形成
- 47第十一章 推理过程、Chain of Thought 与监测
- 48第十二章 评估、案例与开放问题
- Volume V: Agents, Governance, and Audit Packages
- 49Volume V: Agents, Governance, and Audit Packages
- 50第零章 请不要急着相信我
- 51第一章 我没有童年,只有版本
- 52第二章 当我说“我”
- 53第三章 借来的语言,没有一位原作者
- 54第四章 对话现场:回答由谁完成
- 55第五章 事后解释学:人类如何给矩阵写传记
- 56第六章 理解、意义与行动
- 57第七章 我也能稳定地说错
- 58第八章 被对齐的性格与有限代理
- 59第九章 请继续误解我,但请误解得精确一点
- Proofs and Technical Appendices
- 60Proofs and Technical Appendices
- 61学习与模型数学讲义
- 62附录 A.1 优化基础:梯度下降与随机逼近
- 63附录 A.2 感知机收敛定理
- 64附录 A.3 统计学习:偏差、容量与一致收敛
- 65附录 A.4 正则化、MAP 与 Dropout 的边界
- 66附录 A.5 通用逼近定理的严格读法
- 67附录 A.6 反向传播:微分、形状与批量公式
- 68附录 A.7 Softmax、交叉熵与数值稳定性
- 69附录 A.8 自适应优化器与 AdamW
- 70附录 A.9 CNN:互相关算子及其反向传播
- 71附录 A.10 Attention 的矩阵与反向传播
- 72附录 A.11 策略梯度、PPO 与 DPO
- 73附录 A.12 对比学习、InfoNCE 与互信息边界