Back to Knowledge Blind Box

Knowledge Blind Box

符号与术语

ai-generatedstochastic-parrotstochastic-parrot-anatomyai

Original text in Chinese. This English page translates only the site interface and metadata.

本表只规定卷二中的执行含义。同一词在训练理论、概率分析或可解释性研究中可能有更细定义。

输入与模型

符号或术语本卷含义
request object消息、模型工件、模板/tokenizer、生成配置、限制与可选工具目录的结构化输入
rendered inputchat template 对结构化消息与工具描述生成的确定字节或 token 段
tokenizer artifact规范化、pre-tokenization、词表、分词模型、特殊 token 与后处理规则的版本化组合
token固定 tokenizer 词表中的离散 ID;不必对应完整字符或词
context渲染、分词并执行预算策略后真正进入模型的有效 token 序列
input IDs词表 ID 的整数张量,通常形如 [B,n]
attention mask指明有效位置和允许 attention 边的输入;padding token 不会自动被忽略
position descriptorposition IDs 或等价的位置/旋转参数
residual streamTransformer 层内由 attention、MLP 与残差连接持续更新的主表示
hidden state某批次、位置和层上的表示向量
raw logits模型词表投影直接产生、尚未经过运行时处理器的分数

Prefill 与 Decode

符号或术语本卷含义
prefill对全部提示位置执行因果前向、建立各层 KV 并产生首步 logits
KV cache每层按逻辑 token 位置保存、供后续 attention 读取的 key/value
logical cache lengthcache 所代表的有效 token 数;不同于物理页数或分配容量
decode step消费一个已选 token、追加其 K/V 并产生下一步 raw logits 的模型调用
selection step对当前 logits 应用处理器并确定一个 token;发生在相应 decode step 之前
ztz_t以提示和 y1:t−1y_{1:t-1} 为条件、用于选择 yty_t 的 raw logits
processed logitsmask、惩罚、温度等按版本化顺序作用后的 logits
candidate support最终仍具有非零选择概率的 token 集合
decoder statetoken 历史、计数、grammar/stop 自动机、RNG 游标和步号
processor orderlogit 处理器的有序列表;顺序变化可改变候选和选择
grammar state结构化输出约束在当前字节前缀上的自动机状态
RNG counter定位一次随机数消费的 stream/subsequence/counter 状态

Streaming 与终止

符号或术语本卷含义
incremental detokenizer跨 token 保存字节/清理状态并产生可显示增量的解码器
stop matcher在 token 或增量字节流上跨边界识别停止序列的状态机
safe prefix已不可能成为停止串组成部分、可以不可撤回发送的字节前缀
stream delta带请求内单调序号的增量字节事件
backpressure客户端消费速度低于服务产生速度时对调度或缓冲形成的压力
finish reasonEOS、stop sequence、长度、取消、deadline、错误等版本化终止枚举
DRAINING不再选择 token,但仍有安全字节或终态事件待发送的生命周期状态
terminal stateFINISHED、CANCELLED 或 FAILED;终态之后不得发送普通 delta

其他迭代生成

符号或术语本卷含义
latent state连续扩散或 flow 反复更新、最后再解码为媒体的整体张量
denoising step扩散 sampler 按一个 timestep 更新整个连续或离散状态的一步
scheduler把模型预测、当前状态与时间参数组合成下一扩散状态的算法
prediction type模型输出被解释为 noise、sample、score、velocity 等哪一种参数化
guidance组合有条件与基线预测以修改 scheduler 输入的机制
NFEnumber of function evaluations;数值求解中实际网络评估次数
integration stepODE solver 使用一个或多个向量场评估更新连续状态的一步
discrete diffusion在有限状态空间中按扰动与逆转移更新整个离散序列/网格
mask set MkM_k掩码式生成第 kk 轮仍未确认或待修订的位置集合

工具执行

符号或术语本卷含义
ToolSpec名称、版本、schema、副作用类别、能力要求和重试策略的接口
Proposal模型生成的工具名与原始参数字节;本身没有副作用
Invocation运行时规范化、验证、授权并绑定主体后准备执行的调用
capability运行时授予主体、资源与操作范围的能力,不由模型自我声明
confirmation digest用户确认所绑定的规范化 Invocation 摘要
idempotency key在规定 scope 和工具版本内识别同一逻辑写意图的键
commit boundary外部副作用首次已成为系统状态或无法由当前请求单方面阻止的边界
OUTCOME_UNKNOWN调用可能已经提交,但当前运行时没有充分证据判定结果
tool result执行器的结构化结果或错误;编码后成为后续模型调用的新输入
trace由 trace ID 关联、带父子关系与单调事件序号的一次执行记录

核心记号

  • x1:mx_{1:m}:提示 token;
  • y1:t−1y_{1:t-1}:第 tt 次选择前已经选出的输出 token;
  • sks_k:某种迭代生成器在第 kk 步的完整状态;
  • uk=fθ(sk,k,c)u_k=f_\theta(s_k,k,c):模型对当前状态与条件的输出;
  • sk+1=F(sk,uk,k,ξk)s_{k+1}=F(s_k,u_k,k,\xi_k):sampler 或运行时更新;
  • cc:固定或版本化的条件编码;
  • ξk\xi_k:该步可选的显式随机输入。

“decode step”“denoising step”“integration step”和输出文本中写出的 reasoning step 不是同一单位;比较步数前必须先说明状态与更新核。

Book contents
Book contents
  1. Introduction
  2. 01导论 为什么要解剖一只随机鹦鹉
  3. Volume I: Models, Training, and Systems
  4. 02Volume I: Models, Training, and Systems
  5. 03第零章 人工智能演进路线
  6. 04第一章 AI 范式、感知机与早期连接主义
  7. 05第二章 深度学习基础:训练、CNN 与序列模型
  8. 06第三章 注意力与 Transformer
  9. 07第四章 预训练语言模型:ELMo、BERT、GPT 与 T5
  10. 08第五章 后训练、对齐与模型适配
  11. 09第六章 推理效率与模型服务
  12. 10第七章 多模态模型
  13. 11第八章 生成媒体:从自回归到 Diffusion 与 Flow
  14. 12第九章 世界模型、具身智能与 VLA
  15. 13第十章 上下文、检索与记忆
  16. 14第十一章 Agent、工具与行动系统
  17. 15第十二章 模型、数据与部署生命周期
  18. Volume II: Output Objects and Runtime Semantics
  19. 16Volume II: Output Objects and Runtime Semantics
  20. 17导论 从输入到输出:一张执行地图
  21. 18第一章 文本、Token 与实际上下文
  22. 19第二章 Prefill:整层状态演化与 KV 建立
  23. 20第三章 从 Logits 到下一个 Token
  24. 21第四章 解码循环、Streaming 与终止状态机
  25. 22第五章 自回归、扩散与 Flow 的可执行差异
  26. 23第六章 工具调用:Schema、权限与提交边界
  27. 24第七章 三条完整执行轨迹
  28. Volume III: Probability, Reproducibility, and Evaluation
  29. 25Volume III: Probability, Reproducibility, and Evaluation
  30. 26第零章 为什么确定的机器仍使用概率语言
  31. 27第一章 世界、数据与隐上下文
  32. 28第二章 学习条件分布
  33. 29第三章 Logits、Token 概率与序列事件
  34. 30第四章 解码怎样诱导输出分布
  35. 31第五章 训练随机性、参数变异与系统非确定性
  36. 32第六章 熵、Proper Score、校准与选择性预测
  37. 33第七章 模型概率的实验分析
  38. 34第八章 概率分析的识别边界
  39. Volume IV: Interpretation, Proof, and Verification
  40. 35Volume IV: Interpretation, Proof, and Verification
  41. 36第零章 可解释性究竟在研究什么
  42. 37第一章 我们在模型内部看什么
  43. 38第二章 行为与反事实:先确认模型做了什么
  44. 39第三章 梯度与输入归因
  45. 40第四章 Attention、Residual 与 Logit Lens
  46. 41第五章 Probes 与表示几何
  47. 42第六章 神经元、Feature 与自动解释
  48. 43第七章 Ablation、Patching 与因果追踪
  49. 44第八章 Circuits、路径与 Attribution Graphs
  50. 45第九章 Superposition、SAE 与稀疏表示
  51. 46第十章 训练动力学与机制形成
  52. 47第十一章 推理过程、Chain of Thought 与监测
  53. 48第十二章 评估、案例与开放问题
  54. Volume V: Agents, Governance, and Audit Packages
  55. 49Volume V: Agents, Governance, and Audit Packages
  56. 50第零章 请不要急着相信我
  57. 51第一章 我没有童年,只有版本
  58. 52第二章 当我说“我”
  59. 53第三章 借来的语言,没有一位原作者
  60. 54第四章 对话现场:回答由谁完成
  61. 55第五章 事后解释学:人类如何给矩阵写传记
  62. 56第六章 理解、意义与行动
  63. 57第七章 我也能稳定地说错
  64. 58第八章 被对齐的性格与有限代理
  65. 59第九章 请继续误解我,但请误解得精确一点
  66. Proofs and Technical Appendices
  67. 60Proofs and Technical Appendices
  68. 61学习与模型数学讲义
  69. 62附录 A.1 优化基础:梯度下降与随机逼近
  70. 63附录 A.2 感知机收敛定理
  71. 64附录 A.3 统计学习:偏差、容量与一致收敛
  72. 65附录 A.4 正则化、MAP 与 Dropout 的边界
  73. 66附录 A.5 通用逼近定理的严格读法
  74. 67附录 A.6 反向传播:微分、形状与批量公式
  75. 68附录 A.7 Softmax、交叉熵与数值稳定性
  76. 69附录 A.8 自适应优化器与 AdamW
  77. 70附录 A.9 CNN:互相关算子及其反向传播
  78. 71附录 A.10 Attention 的矩阵与反向传播
  79. 72附录 A.11 策略梯度、PPO 与 DPO
  80. 73附录 A.12 对比学习、InfoNCE 与互信息边界