Back to Knowledge Blind Box
Knowledge Blind Box
Proofs and Technical Appendices
ai-generatedstochastic-parrotstochastic-parrot-anatomyai
Original text in Chinese. This English page translates only the site interface and metadata.
本目录只收录卷一正文若就地展开会打断主线、但研究生读者应能核验的定义与推导。它不是第二套平行教材,也不承担卷二的执行追踪、卷三的概率解释或卷四的可解释性研究。
使用方式
读者不需要按 A.1—A.12 线性通读。遇到正文链接时进入相应条目即可:
| 路径 | 建议顺序 | 服务的正文问题 |
|---|---|---|
| 学习与泛化 | A.1 -> A.3 -> A.4 -> A.8 | 梯度更新何时成立,容量界、正则化和 AdamW 的边界是什么 |
| 早期神经网络 | A.2 -> A.5 -> A.7 | 感知机为何收敛,多层网络能表示什么,分类输出怎样训练 |
| 反向传播与算子 | A.6 -> A.9;A.6 + A.7 -> A.10 | batch 形状、卷积伴随与 attention 反向怎样核对 |
| 后训练 | A.7 -> A.11 | token log probability、策略梯度、PPO 和 DPO 怎样连接 |
| 多模态表征 | A.7 -> A.12 | 对比损失、表示梯度和互信息下界何时成立 |
先修范围
核心推导默认读者掌握线性代数、多元微积分和初等概率。A.3、A.11 与 A.12 还使用条件期望、KL 散度和独立采样;可先读卷三的最小概率工具箱。A.5 的一般通用逼近证明使用 Hahn—Banach 与 Riesz—Markov 定理;不具备泛函分析先修时,可以接受所列引理并完整阅读一维 ReLU 构造。
编号与边界
A.1—A.12 是本目录内部编号。卷三概率工具箱也使用局部小节编号 A.1 等,引用时应同时写明文件或主题,不能把两套编号拼成一个全书连续定理序列。
每篇附录末尾给出其直接依赖的原始来源。正文中的历史、模型谱系与更新较快的工程事实仍以各卷来源表为准;附录来源只支撑所陈述的数学结果和算法定义。
Book contents
Book contents
- Introduction
- 01导论 为什么要解剖一只随机鹦鹉
- Volume I: Models, Training, and Systems
- 02Volume I: Models, Training, and Systems
- 03第零章 人工智能演进路线
- 04第一章 AI 范式、感知机与早期连接主义
- 05第二章 深度学习基础:训练、CNN 与序列模型
- 06第三章 注意力与 Transformer
- 07第四章 预训练语言模型:ELMo、BERT、GPT 与 T5
- 08第五章 后训练、对齐与模型适配
- 09第六章 推理效率与模型服务
- 10第七章 多模态模型
- 11第八章 生成媒体:从自回归到 Diffusion 与 Flow
- 12第九章 世界模型、具身智能与 VLA
- 13第十章 上下文、检索与记忆
- 14第十一章 Agent、工具与行动系统
- 15第十二章 模型、数据与部署生命周期
- Volume II: Output Objects and Runtime Semantics
- 16Volume II: Output Objects and Runtime Semantics
- 17导论 从输入到输出:一张执行地图
- 18第一章 文本、Token 与实际上下文
- 19第二章 Prefill:整层状态演化与 KV 建立
- 20第三章 从 Logits 到下一个 Token
- 21第四章 解码循环、Streaming 与终止状态机
- 22第五章 自回归、扩散与 Flow 的可执行差异
- 23第六章 工具调用:Schema、权限与提交边界
- 24第七章 三条完整执行轨迹
- Volume III: Probability, Reproducibility, and Evaluation
- 25Volume III: Probability, Reproducibility, and Evaluation
- 26第零章 为什么确定的机器仍使用概率语言
- 27第一章 世界、数据与隐上下文
- 28第二章 学习条件分布
- 29第三章 Logits、Token 概率与序列事件
- 30第四章 解码怎样诱导输出分布
- 31第五章 训练随机性、参数变异与系统非确定性
- 32第六章 熵、Proper Score、校准与选择性预测
- 33第七章 模型概率的实验分析
- 34第八章 概率分析的识别边界
- Volume IV: Interpretation, Proof, and Verification
- 35Volume IV: Interpretation, Proof, and Verification
- 36第零章 可解释性究竟在研究什么
- 37第一章 我们在模型内部看什么
- 38第二章 行为与反事实:先确认模型做了什么
- 39第三章 梯度与输入归因
- 40第四章 Attention、Residual 与 Logit Lens
- 41第五章 Probes 与表示几何
- 42第六章 神经元、Feature 与自动解释
- 43第七章 Ablation、Patching 与因果追踪
- 44第八章 Circuits、路径与 Attribution Graphs
- 45第九章 Superposition、SAE 与稀疏表示
- 46第十章 训练动力学与机制形成
- 47第十一章 推理过程、Chain of Thought 与监测
- 48第十二章 评估、案例与开放问题
- Volume V: Agents, Governance, and Audit Packages
- 49Volume V: Agents, Governance, and Audit Packages
- 50第零章 请不要急着相信我
- 51第一章 我没有童年,只有版本
- 52第二章 当我说“我”
- 53第三章 借来的语言,没有一位原作者
- 54第四章 对话现场:回答由谁完成
- 55第五章 事后解释学:人类如何给矩阵写传记
- 56第六章 理解、意义与行动
- 57第七章 我也能稳定地说错
- 58第八章 被对齐的性格与有限代理
- 59第九章 请继续误解我,但请误解得精确一点
- Proofs and Technical Appendices
- 60Proofs and Technical Appendices
- 61学习与模型数学讲义
- 62附录 A.1 优化基础:梯度下降与随机逼近
- 63附录 A.2 感知机收敛定理
- 64附录 A.3 统计学习:偏差、容量与一致收敛
- 65附录 A.4 正则化、MAP 与 Dropout 的边界
- 66附录 A.5 通用逼近定理的严格读法
- 67附录 A.6 反向传播:微分、形状与批量公式
- 68附录 A.7 Softmax、交叉熵与数值稳定性
- 69附录 A.8 自适应优化器与 AdamW
- 70附录 A.9 CNN:互相关算子及其反向传播
- 71附录 A.10 Attention 的矩阵与反向传播
- 72附录 A.11 策略梯度、PPO 与 DPO
- 73附录 A.12 对比学习、InfoNCE 与互信息边界