Back to Knowledge Blind Box

Knowledge Blind Box

跨卷符号约定

ai-generatedstochastic-parrotstochastic-parrot-anatomyai

Original text in Chinese. This English page translates only the site interface and metadata.

局部变量在使用处定义。本表只约束跨卷重复出现的符号,避免把模型、训练分布、解码后分布和外部世界写成同一个对象。

模型与序列

符号含义
VV固定 tokenizer 的有限 token 词表
x1:nx_{1:n}token 序列;x<t=x1:t−1x_{<t}=x_{1:t-1}
cc除当前生成前缀外的条件,例如系统消息、用户输入或多模态编码
θ\theta一个固定模型 checkpoint 的参数
pθ(⋅∣c)p_\theta(\cdot\mid c)固定参数模型的条件分布;卷三在与数据分布对照时记作 qθq_\theta
Kθ,δ(⋅∣c)K_{\theta,\delta}(\cdot\mid c)固定基础模型经声明的解码协议 δ\delta 后诱导的解码输出分布;不默认包含路由、过滤或工具执行
Psys(⋅∣r)P_{\mathrm{sys}}(\cdot\mid r)给定版本化请求 rr 时,包含路由、过滤、工具与失败处理的系统可观察结果分布
YY一次运行产生的随机输出;其值域必须说明是 token、文本、媒体、调用候选还是外部结果
$z\in\mathbb R^{V
T>0T>0softmax temperature;greedy 另行定义,不把 T=0T=0 直接代入 softmax
hℓ,ph_{\ell,p} 或 xℓ,px_{\ell,p}层 ℓ\ell、位置 pp 的 hidden/residual state
$W_U\in\mathbb R^{V

pθp_\theta 与 qθq_\theta 不是两类模型。前者是卷一、卷二常用的生成模型记号;卷三用 qθq_\theta,是为了把模型近似与数据侧的 PDP_D、PtrainP_{\mathrm{train}} 明确分开。局部章节若使用 VAE 等领域惯例,会在使用处重新声明 pθp_\theta 与 qϕq_\phi。

数据、训练与概率

符号含义
P⋆P_\star只在明确建模时使用的目标或世界侧分布;不假定研究者可直接观测
PDP_D经采集与处理形成的数据分布
PtrainP_{\mathrm{train}}来源混合和抽样权重实际定义的训练分布
P^n\widehat P_nnn 个观测定义的经验分布
Ω\Omega数据顺序、初始化、数值内核等训练随机状态
Θ=A(S,Ω)\Theta=A(S,\Omega)训练算法 AA 在样本 SS 与随机状态 Ω\Omega 下输出的参数随机变量
H(p)H(p)离散 Shannon 熵,默认使用自然对数
H(p,q)H(p,q)交叉熵 −∑plog⁡q-\sum p\log q
DKL(p∥q)D_{\mathrm{KL}}(p\Vert q)KL divergence;非对称,不是距离
E[X]\mathbb E[X]、Var⁡(X)\operatorname{Var}(X)期望与方差
1{A}\mathbf 1\{A\}事件 AA 的指示量
g:Y→Eg:Y\to\mathcal E把原始输出映射为可分析事件或语义类别的版本化编码规则
do⁡(X=x)\operatorname{do}(X=x)因果模型中的干预;不同于观察条件 X=xX=x

写“某类回答的概率”时,必须给出事件集合或编码规则 gg。自由文本的语义等价不是 token 空间自带的结构;更换 rubric、解析器或评审模型会改变被估计事件。

执行与系统

符号或术语含义
prefill对完整输入并行前向并建立 KV cache
decode step用当前缓存计算并选择下一 token 的一步
δ\delta已声明的解码协议,包括温度、截断、约束和停止规则
sts_t第 tt 个执行边界上的版本化状态;具体字段由卷二声明
RR运行记录或 trace 数据结构;局部使用时须另行说明
trace按时间排列的模型计算、运行时处理和外部事件
commit boundary外部副作用越过后不能靠取消当前请求自动撤回的边界

可解释性

符号或术语含义
S(x)S(x)被解释的标量目标,例如 logit difference
Deval\mathcal D_{\mathrm{eval}}解释或干预结论所针对的输入分布;不是默认的“所有输入”
au(x,p)a_u(x,p)单位 uu 在输入 xx、位置 pp 的 activation
∇xS\nabla_xS目标对输入的局部梯度
II明确声明的内部或输入干预算子
vvprobe、steering 或 feature direction;构造方式必须另述
ff、x^\hat x稀疏 feature activations 与重构 activation
CC相对于行为和输入分布定义的 circuit

等式与比较

  • $=$ 表示所声明类型中的相等;文本相同、语义等价和任务成功不是默认同一关系。
  • ≈ 只在局部已声明度量与容差时使用。
  • 单次输出、条件分布和重复实验频率分别写作不同对象,不用一个“概率”互相替代。
  • 条件竖线右侧只列模型实际条件或统计分析明确条件;未观测的现实因素不能悄悄并入 cc。
  • 经验平均、模型期望和训练随机性期望必须注明分别对哪个随机变量取平均。
  • 局部章节可复用字母,但必须在首次出现处重新定义。
Book contents
Book contents
  1. Introduction
  2. 01导论 为什么要解剖一只随机鹦鹉
  3. Volume I: Models, Training, and Systems
  4. 02Volume I: Models, Training, and Systems
  5. 03第零章 人工智能演进路线
  6. 04第一章 AI 范式、感知机与早期连接主义
  7. 05第二章 深度学习基础:训练、CNN 与序列模型
  8. 06第三章 注意力与 Transformer
  9. 07第四章 预训练语言模型:ELMo、BERT、GPT 与 T5
  10. 08第五章 后训练、对齐与模型适配
  11. 09第六章 推理效率与模型服务
  12. 10第七章 多模态模型
  13. 11第八章 生成媒体:从自回归到 Diffusion 与 Flow
  14. 12第九章 世界模型、具身智能与 VLA
  15. 13第十章 上下文、检索与记忆
  16. 14第十一章 Agent、工具与行动系统
  17. 15第十二章 模型、数据与部署生命周期
  18. Volume II: Output Objects and Runtime Semantics
  19. 16Volume II: Output Objects and Runtime Semantics
  20. 17导论 从输入到输出:一张执行地图
  21. 18第一章 文本、Token 与实际上下文
  22. 19第二章 Prefill:整层状态演化与 KV 建立
  23. 20第三章 从 Logits 到下一个 Token
  24. 21第四章 解码循环、Streaming 与终止状态机
  25. 22第五章 自回归、扩散与 Flow 的可执行差异
  26. 23第六章 工具调用:Schema、权限与提交边界
  27. 24第七章 三条完整执行轨迹
  28. Volume III: Probability, Reproducibility, and Evaluation
  29. 25Volume III: Probability, Reproducibility, and Evaluation
  30. 26第零章 为什么确定的机器仍使用概率语言
  31. 27第一章 世界、数据与隐上下文
  32. 28第二章 学习条件分布
  33. 29第三章 Logits、Token 概率与序列事件
  34. 30第四章 解码怎样诱导输出分布
  35. 31第五章 训练随机性、参数变异与系统非确定性
  36. 32第六章 熵、Proper Score、校准与选择性预测
  37. 33第七章 模型概率的实验分析
  38. 34第八章 概率分析的识别边界
  39. Volume IV: Interpretation, Proof, and Verification
  40. 35Volume IV: Interpretation, Proof, and Verification
  41. 36第零章 可解释性究竟在研究什么
  42. 37第一章 我们在模型内部看什么
  43. 38第二章 行为与反事实:先确认模型做了什么
  44. 39第三章 梯度与输入归因
  45. 40第四章 Attention、Residual 与 Logit Lens
  46. 41第五章 Probes 与表示几何
  47. 42第六章 神经元、Feature 与自动解释
  48. 43第七章 Ablation、Patching 与因果追踪
  49. 44第八章 Circuits、路径与 Attribution Graphs
  50. 45第九章 Superposition、SAE 与稀疏表示
  51. 46第十章 训练动力学与机制形成
  52. 47第十一章 推理过程、Chain of Thought 与监测
  53. 48第十二章 评估、案例与开放问题
  54. Volume V: Agents, Governance, and Audit Packages
  55. 49Volume V: Agents, Governance, and Audit Packages
  56. 50第零章 请不要急着相信我
  57. 51第一章 我没有童年,只有版本
  58. 52第二章 当我说“我”
  59. 53第三章 借来的语言,没有一位原作者
  60. 54第四章 对话现场:回答由谁完成
  61. 55第五章 事后解释学:人类如何给矩阵写传记
  62. 56第六章 理解、意义与行动
  63. 57第七章 我也能稳定地说错
  64. 58第八章 被对齐的性格与有限代理
  65. 59第九章 请继续误解我,但请误解得精确一点
  66. Proofs and Technical Appendices
  67. 60Proofs and Technical Appendices
  68. 61学习与模型数学讲义
  69. 62附录 A.1 优化基础:梯度下降与随机逼近
  70. 63附录 A.2 感知机收敛定理
  71. 64附录 A.3 统计学习:偏差、容量与一致收敛
  72. 65附录 A.4 正则化、MAP 与 Dropout 的边界
  73. 66附录 A.5 通用逼近定理的严格读法
  74. 67附录 A.6 反向传播:微分、形状与批量公式
  75. 68附录 A.7 Softmax、交叉熵与数值稳定性
  76. 69附录 A.8 自适应优化器与 AdamW
  77. 70附录 A.9 CNN:互相关算子及其反向传播
  78. 71附录 A.10 Attention 的矩阵与反向传播
  79. 72附录 A.11 策略梯度、PPO 与 DPO
  80. 73附录 A.12 对比学习、InfoNCE 与互信息边界