Back to Knowledge Blind Box
Knowledge Blind Box
资料源
ai-generatedstochastic-parrotstochastic-parrot-anatomyai
Original text in Chinese. This English page translates only the site interface and metadata.
本表优先收录原始论文、规范和标准。正文中的状态对象与伪代码是跨实现抽象;具体产品的 chat template、kernel、调度器、streaming 协议和工具 API 仍须绑定其不可变版本文档。来源支持算法或接口定义,不把某个实验结果外推为所有系统的性质。
输入、Unicode 与 Tokenization {#source-input}
- Unicode Consortium, Unicode Standard Annex #15: Unicode Normalization Forms。用于 NFC、NFD、NFKC、NFKD 及规范化一致性的标准定义。
- F. Yergeau, RFC 3629: UTF-8, a transformation format of ISO 10646, 2003。用于 UTF-8 字节与 Unicode 标量值的编码边界。
- Rico Sennrich, Barry Haddow, and Alexandra Birch, Neural Machine Translation of Rare Words with Subword Units, ACL 2016。用于 BPE 子词建模的原始神经机器翻译工作。
- Taku Kudo and John Richardson, SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing, EMNLP 2018。用于直接从原始句子训练、分词与反分词的具体接口背景。
聊天模板不是单一学术标准。正文因此只规定确定性序列化契约,不声称不同框架的角色标记或特殊 token 可以互换。
Transformer 前向与 KV {#source-transformer}
- Ashish Vaswani et al., Attention Is All You Need, 2017。用于 scaled dot-product attention、multi-head attention、残差和位置级前馈网络的基础定义。
- Joshua Ainslie et al., GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints, 2023。用于 query 头与较少 KV 头之间的 grouped-query 接口。
- Tri Dao et al., FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness, NeurIPS 2022。用于“不显式物化完整 attention 矩阵但保持精确逻辑结果”的实现背景。
解码、约束与随机数 {#source-decoding}
- Ari Holtzman et al., The Curious Case of Neural Text Degeneration, ICLR 2020。用于 nucleus/top-p sampling 的提出与开放式文本解码背景。
- Brandon T. Willard and Rémi Louf, Efficient Guided Generation for Large Language Models, 2023。用于把正则或上下文无关约束转成有限状态引导生成的算法背景。
- John K. Salmon et al., Parallel Random Numbers: As Easy as 1, 2, 3, SC 2011。用于 Philox 等 counter-based PRNG 的原始来源;第七章使用 Philox 名称只为固定教学夹具。
正文给出的处理器顺序是本卷参考配置,不是上述论文规定的跨库标准。复现具体服务必须保存它自己的有序处理器列表。
Cache 管理与连续批处理 {#source-serving}
- Woosuk Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention, SOSP 2023。用于分页 KV cache、请求动态增长与连续批处理的系统背景。
卷二只依赖这些优化应保持逻辑 token/cache 语义;吞吐、量化和并行策略的工程展开见卷一第六章。
连续扩散、潜变量与引导 {#source-diffusion}
- Jonathan Ho, Ajay Jain, and Pieter Abbeel, Denoising Diffusion Probabilistic Models, NeurIPS 2020。用于高斯前向扰动与学习逆过程。
- Jiaming Song, Chenlin Meng, and Stefano Ermon, Denoising Diffusion Implicit Models, ICLR 2021。用于 DDIM 更新及确定性采样路径。
- Robin Rombach et al., High-Resolution Image Synthesis with Latent Diffusion Models, CVPR 2022。用于潜空间去噪、VAE 与 cross-attention 条件化。
- Jonathan Ho and Tim Salimans, Classifier-Free Diffusion Guidance, 2022。用于有条件与无条件预测的线性组合。
Flow 与数值积分接口 {#source-flow}
- Yaron Lipman et al., Flow Matching for Generative Modeling, ICLR 2023。用于条件概率路径、向量场学习与 ODE 采样接口。
Euler 与 Heun 公式是标准数值分析算法;正文只用它们说明 solver、步数与网络评估次数是生成配置的一部分,不试图替代数值分析教材。
离散扩散与掩码修订 {#source-discrete-diffusion}
- Jacob Austin et al., Structured Denoising Diffusion Models in Discrete State-Spaces, NeurIPS 2021。用于 D3PM 转移矩阵与离散逆过程。
- Huiwen Chang et al., MaskGIT: Masked Generative Image Transformer, CVPR 2022。用于并行预测、置信确认与多轮掩码修订的代表性实例。
- Shen Nie et al., Large Language Diffusion Models, 2025。作为掩码扩散语言模型实例;本卷不据此宣称该路线已经取代自回归语言模型。
JSON 与 Schema {#source-schema}
- Tim Bray, RFC 8259: The JavaScript Object Notation (JSON) Data Interchange Format, 2017。用于 JSON 文本、对象、数组、数字与字符串的标准语法。
- JSON Schema project, JSON Schema Core, Draft 2020-12 与 Validation Vocabulary, 2022。用于 schema dialect、vocabulary、结构断言与
format行为。
幂等、重试与提交语义 {#source-transactions}
- R. Fielding, M. Nottingham, and J. Reschke, RFC 9110: HTTP Semantics, 2022,尤其是 9.2.2 节。用于 HTTP 方法幂等性的标准定义。
RFC 9110 不保证任意工具写调用“恰好一次”。正文的幂等键、规范请求摘要、outcome unknown 与提交边界是应用协议必须额外实现并记录的契约。
分布式事件关联 {#source-tracing}
- W3C, Trace Context, W3C Recommendation, 2021。用于跨 HTTP 服务传播 trace ID、parent ID 与供应商状态的标准格式。
Trace context 负责关联事件,不自动保存模型输入、Invocation 参数或外部提交证据;这些仍由正文定义的事件 payload 提供。
章节—来源对应
| 章节 | 主要来源组 |
|---|---|
| 第一章 | 输入、Unicode 与 Tokenization |
| 第二章 | Transformer 前向与 KV、Cache 管理 |
| 第三至四章 | 解码、约束与随机数、Cache 管理 |
| 第五章 | 连续扩散、Flow、离散扩散 |
| 第六章 | JSON 与 Schema、幂等与提交、分布式事件 |
| 第七章 | 上述全部来源组;数值与 ID 是本卷合成夹具 |
Book contents
Book contents
- Introduction
- 01导论 为什么要解剖一只随机鹦鹉
- Volume I: Models, Training, and Systems
- 02Volume I: Models, Training, and Systems
- 03第零章 人工智能演进路线
- 04第一章 AI 范式、感知机与早期连接主义
- 05第二章 深度学习基础:训练、CNN 与序列模型
- 06第三章 注意力与 Transformer
- 07第四章 预训练语言模型:ELMo、BERT、GPT 与 T5
- 08第五章 后训练、对齐与模型适配
- 09第六章 推理效率与模型服务
- 10第七章 多模态模型
- 11第八章 生成媒体:从自回归到 Diffusion 与 Flow
- 12第九章 世界模型、具身智能与 VLA
- 13第十章 上下文、检索与记忆
- 14第十一章 Agent、工具与行动系统
- 15第十二章 模型、数据与部署生命周期
- Volume II: Output Objects and Runtime Semantics
- 16Volume II: Output Objects and Runtime Semantics
- 17导论 从输入到输出:一张执行地图
- 18第一章 文本、Token 与实际上下文
- 19第二章 Prefill:整层状态演化与 KV 建立
- 20第三章 从 Logits 到下一个 Token
- 21第四章 解码循环、Streaming 与终止状态机
- 22第五章 自回归、扩散与 Flow 的可执行差异
- 23第六章 工具调用:Schema、权限与提交边界
- 24第七章 三条完整执行轨迹
- Volume III: Probability, Reproducibility, and Evaluation
- 25Volume III: Probability, Reproducibility, and Evaluation
- 26第零章 为什么确定的机器仍使用概率语言
- 27第一章 世界、数据与隐上下文
- 28第二章 学习条件分布
- 29第三章 Logits、Token 概率与序列事件
- 30第四章 解码怎样诱导输出分布
- 31第五章 训练随机性、参数变异与系统非确定性
- 32第六章 熵、Proper Score、校准与选择性预测
- 33第七章 模型概率的实验分析
- 34第八章 概率分析的识别边界
- Volume IV: Interpretation, Proof, and Verification
- 35Volume IV: Interpretation, Proof, and Verification
- 36第零章 可解释性究竟在研究什么
- 37第一章 我们在模型内部看什么
- 38第二章 行为与反事实:先确认模型做了什么
- 39第三章 梯度与输入归因
- 40第四章 Attention、Residual 与 Logit Lens
- 41第五章 Probes 与表示几何
- 42第六章 神经元、Feature 与自动解释
- 43第七章 Ablation、Patching 与因果追踪
- 44第八章 Circuits、路径与 Attribution Graphs
- 45第九章 Superposition、SAE 与稀疏表示
- 46第十章 训练动力学与机制形成
- 47第十一章 推理过程、Chain of Thought 与监测
- 48第十二章 评估、案例与开放问题
- Volume V: Agents, Governance, and Audit Packages
- 49Volume V: Agents, Governance, and Audit Packages
- 50第零章 请不要急着相信我
- 51第一章 我没有童年,只有版本
- 52第二章 当我说“我”
- 53第三章 借来的语言,没有一位原作者
- 54第四章 对话现场:回答由谁完成
- 55第五章 事后解释学:人类如何给矩阵写传记
- 56第六章 理解、意义与行动
- 57第七章 我也能稳定地说错
- 58第八章 被对齐的性格与有限代理
- 59第九章 请继续误解我,但请误解得精确一点
- Proofs and Technical Appendices
- 60Proofs and Technical Appendices
- 61学习与模型数学讲义
- 62附录 A.1 优化基础:梯度下降与随机逼近
- 63附录 A.2 感知机收敛定理
- 64附录 A.3 统计学习:偏差、容量与一致收敛
- 65附录 A.4 正则化、MAP 与 Dropout 的边界
- 66附录 A.5 通用逼近定理的严格读法
- 67附录 A.6 反向传播:微分、形状与批量公式
- 68附录 A.7 Softmax、交叉熵与数值稳定性
- 69附录 A.8 自适应优化器与 AdamW
- 70附录 A.9 CNN:互相关算子及其反向传播
- 71附录 A.10 Attention 的矩阵与反向传播
- 72附录 A.11 策略梯度、PPO 与 DPO
- 73附录 A.12 对比学习、InfoNCE 与互信息边界