Back to Knowledge Blind Box

Knowledge Blind Box

Volume II: Output Objects and Runtime Semantics

ai-generatedstochastic-parrotstochastic-parrot-anatomyai

Original text in Chinese. This English page translates only the site interface and metadata.

卷一从历史、训练和系统结构解释模型;本卷把镜头收紧到一次具体请求。它沿真实依赖顺序追踪:请求怎样被序列化,文本怎样成为 token,prefill 怎样逐层建立 KV cache,logit 处理器怎样形成实际候选,decode 与 streaming 怎样终止,以及工具调用何时真正越过外部提交边界。

本卷的中心对象不是“模型能力”,而是执行状态。每章都按同一方法组织:

  1. 定义输入、状态所有者和输出;
  2. 给出可以实现的伪代码或状态转移;
  3. 声明必须保持的不变量;
  4. 列出最早失败边界;
  5. 给出能够手算或重放的固定夹具。

数学只用于区分张量、条件前缀和更新核。它不承担装饰功能,也不把工程事件提升成不必要的形式逻辑。

本卷边界

本卷回答“一次生成在机器中怎样发生”,不重复三类问题:

  • Transformer 为什么采用某种设计、模型怎样训练和服务优化:见卷一;
  • token 概率从数据和目标函数中怎样形成、可以解释什么:见卷三;
  • 隐藏状态、神经元、feature 与因果干预怎样研究:见卷四。

工具章节只讲 schema、权限、幂等、重试和提交状态如何参与一次执行,不扩展为一般 Agent 工程、治理或责任框架。

章节

  1. 从输入到输出:一张执行地图
  2. 文本、Token 与实际上下文
  3. Prefill:整层状态演化与 KV 建立
  4. 从 Logits 到下一个 Token
  5. 解码循环、Streaming 与终止状态机
  6. 自回归、扩散与 Flow 的可执行差异
  7. 工具调用:Schema、权限与提交边界
  8. 三条完整执行轨迹

辅助材料:符号与术语 · 资料源

统一步序

全卷采用一个明确约定:prefill 后 cache 只含提示并已有首步 logits;第 tt 次选择之前,cache 含提示和前 t−1t-1 个输出;若新 token 不触发终止,下一次 decode 才把它写入 cache 并产生再下一步 logits。这个约定避免“token 已选择”“token 已进入模型”和“token 已显示”之间的 off-by-one 混乱。

阅读结果

读完本卷,读者应能够:

  • 从请求对象恢复渲染字节、token IDs、mask 与 position IDs;
  • 为 prefill 和单 token decode 写出逐层张量形状与 KV 长度;
  • 重放一条有序 logit processor 管线并定位首次候选分歧;
  • 区分 token selected、cache updated、bytes emitted 与 client rendered;
  • 为 EOS、停止串、长度、取消、背压和失败画出合法终态;
  • 写出自回归、连续扩散、离散扩散和 flow 各自的 state/update/terminal;
  • 判断工具调用处于 proposed、authorized、committed 还是 outcome unknown;
  • 用三条端到端轨迹的事件和不变量检查实现。

如果这些问题仍只能用“模型生成了结果”概括,读者就尚未达到本卷目标;如果每一步的输入、决定者、状态与失败边界都能被指出,读者便已掌握本卷要求的执行语义。

Book contents
Book contents
  1. Introduction
  2. 01导论 为什么要解剖一只随机鹦鹉
  3. Volume I: Models, Training, and Systems
  4. 02Volume I: Models, Training, and Systems
  5. 03第零章 人工智能演进路线
  6. 04第一章 AI 范式、感知机与早期连接主义
  7. 05第二章 深度学习基础:训练、CNN 与序列模型
  8. 06第三章 注意力与 Transformer
  9. 07第四章 预训练语言模型:ELMo、BERT、GPT 与 T5
  10. 08第五章 后训练、对齐与模型适配
  11. 09第六章 推理效率与模型服务
  12. 10第七章 多模态模型
  13. 11第八章 生成媒体:从自回归到 Diffusion 与 Flow
  14. 12第九章 世界模型、具身智能与 VLA
  15. 13第十章 上下文、检索与记忆
  16. 14第十一章 Agent、工具与行动系统
  17. 15第十二章 模型、数据与部署生命周期
  18. Volume II: Output Objects and Runtime Semantics
  19. 16Volume II: Output Objects and Runtime Semantics
    1. 本卷边界
    2. 章节
    3. 统一步序
    4. 阅读结果
  20. 17导论 从输入到输出:一张执行地图
  21. 18第一章 文本、Token 与实际上下文
  22. 19第二章 Prefill:整层状态演化与 KV 建立
  23. 20第三章 从 Logits 到下一个 Token
  24. 21第四章 解码循环、Streaming 与终止状态机
  25. 22第五章 自回归、扩散与 Flow 的可执行差异
  26. 23第六章 工具调用:Schema、权限与提交边界
  27. 24第七章 三条完整执行轨迹
  28. Volume III: Probability, Reproducibility, and Evaluation
  29. 25Volume III: Probability, Reproducibility, and Evaluation
  30. 26第零章 为什么确定的机器仍使用概率语言
  31. 27第一章 世界、数据与隐上下文
  32. 28第二章 学习条件分布
  33. 29第三章 Logits、Token 概率与序列事件
  34. 30第四章 解码怎样诱导输出分布
  35. 31第五章 训练随机性、参数变异与系统非确定性
  36. 32第六章 熵、Proper Score、校准与选择性预测
  37. 33第七章 模型概率的实验分析
  38. 34第八章 概率分析的识别边界
  39. Volume IV: Interpretation, Proof, and Verification
  40. 35Volume IV: Interpretation, Proof, and Verification
  41. 36第零章 可解释性究竟在研究什么
  42. 37第一章 我们在模型内部看什么
  43. 38第二章 行为与反事实:先确认模型做了什么
  44. 39第三章 梯度与输入归因
  45. 40第四章 Attention、Residual 与 Logit Lens
  46. 41第五章 Probes 与表示几何
  47. 42第六章 神经元、Feature 与自动解释
  48. 43第七章 Ablation、Patching 与因果追踪
  49. 44第八章 Circuits、路径与 Attribution Graphs
  50. 45第九章 Superposition、SAE 与稀疏表示
  51. 46第十章 训练动力学与机制形成
  52. 47第十一章 推理过程、Chain of Thought 与监测
  53. 48第十二章 评估、案例与开放问题
  54. Volume V: Agents, Governance, and Audit Packages
  55. 49Volume V: Agents, Governance, and Audit Packages
  56. 50第零章 请不要急着相信我
  57. 51第一章 我没有童年,只有版本
  58. 52第二章 当我说“我”
  59. 53第三章 借来的语言,没有一位原作者
  60. 54第四章 对话现场:回答由谁完成
  61. 55第五章 事后解释学:人类如何给矩阵写传记
  62. 56第六章 理解、意义与行动
  63. 57第七章 我也能稳定地说错
  64. 58第八章 被对齐的性格与有限代理
  65. 59第九章 请继续误解我,但请误解得精确一点
  66. Proofs and Technical Appendices
  67. 60Proofs and Technical Appendices
  68. 61学习与模型数学讲义
  69. 62附录 A.1 优化基础:梯度下降与随机逼近
  70. 63附录 A.2 感知机收敛定理
  71. 64附录 A.3 统计学习:偏差、容量与一致收敛
  72. 65附录 A.4 正则化、MAP 与 Dropout 的边界
  73. 66附录 A.5 通用逼近定理的严格读法
  74. 67附录 A.6 反向传播:微分、形状与批量公式
  75. 68附录 A.7 Softmax、交叉熵与数值稳定性
  76. 69附录 A.8 自适应优化器与 AdamW
  77. 70附录 A.9 CNN:互相关算子及其反向传播
  78. 71附录 A.10 Attention 的矩阵与反向传播
  79. 72附录 A.11 策略梯度、PPO 与 DPO
  80. 73附录 A.12 对比学习、InfoNCE 与互信息边界