Back to Knowledge Blind Box
Knowledge Blind Box
资料源
ai-generatedstochastic-parrotstochastic-parrot-anatomyai
Original text in Chinese. This English page translates only the site interface and metadata.
本表服务于卷三的定义、方法与边界,不试图替代概率论、统计学或机器学习完整书目。一手论文链接已于 2026-07 核对;正文中的数学结论以给出的条件为准,论文中的经验结果不被外推为普遍定理。
概率、信息与评分规则
- Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006。用于熵、条件熵链式法则、交叉熵、KL 与互信息。
- Larry Wasserman, All of Statistics, Springer, 2004。用于期望、方差、Monte Carlo、区间与基础统计推断。
- Tilmann Gneiting and Adrian E. Raftery, Strictly Proper Scoring Rules, Prediction, and Estimation, JASA 2007。用于 proper/strictly proper score、log score 与 Brier score 的一般框架。
- Tilmann Gneiting, Fadoua Balabdaoui, and Adrian E. Raftery, Probabilistic Forecasts, Calibration and Sharpness, JRSS B 2007。用于区分校准与信息分辨能力。
- Edwin B. Wilson, Probable Inference, the Law of Succession, and Statistical Inference, JASA 1927。用于二项比例 Wilson score 区间。
- Bradley Efron, Bootstrap Methods: Another Look at the Jackknife, Annals of Statistics 1979。用于非参数 bootstrap 的原始方法来源;正文另行强调配对和层级必须按实验单位保留。
- Charles J. Geyer, Practical Markov Chain Monte Carlo, Statistical Science 1992。用于相关 Monte Carlo 均值的积分自相关时间与有效样本量;正文只在平稳性和相关可和条件下使用该近似。
数据、分词与条件语言模型
- Yoshua Bengio et al., A Neural Probabilistic Language Model, JMLR 2003。用于神经条件语言模型和最大似然背景。
- Ashish Vaswani et al., Attention Is All You Need, 2017。用于自回归/条件序列建模的 Transformer 背景;架构细节主要见卷一。
- Taku Kudo and John Richardson, SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing, EMNLP 2018。用于 tokenizer、detokenizer 与概率单位的工程背景。
- Rafael Rafailov et al., Direct Preference Optimization: Your Language Model is Secretly a Reward Model, NeurIPS 2023。用于偏好对上的序列概率比目标;卷三不把该目标解释为唯一真实回答分布。
解码与诱导分布
- Ari Holtzman et al., The Curious Case of Neural Text Degeneration, ICLR 2020。用于 nucleus sampling 与开放文本截断解码的经验背景。
- Matthew Finlayson et al., Closing the Curious Case of Neural Text Degeneration, ICLR 2024。用于截断采样机制与 softmax 分布误差的后续分析;正文只采用支持被删除与逐步重归一化等可直接验证结论。
- Jonathan Ho, Ajay Jain, and Pieter Abbeel, Denoising Diffusion Probabilistic Models, NeurIPS 2020。用于扩散模型反向随机转移的基本形式。
训练运行与模型间变异
- Alex Kendall and Yarin Gal, What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?, NeurIPS 2017。用于 aleatoric/epistemic 术语背景;正文说明该二分不能替代随机算法与系统非确定性。
- Balaji Lakshminarayanan, Alexander Pritzel, and Charles Blundell, Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles, NeurIPS 2017。用于 ensemble 预测分歧背景。
- Thibault Sellam et al., The MultiBERTs: BERT Reproductions for Robustness Analysis, ICLR 2022。用于多预训练 seed、工件结论与训练程序结论的区分,以及多层 bootstrap 设计。
- Yupei Du, Dong Nguyen, and Naoaki Okazaki, Measuring the Instability of Fine-Tuning, ACL 2023。用于微调运行间差异不能由单一标准差充分描述的经验背景。
校准与不确定性
- Chuan Guo et al., On Calibration of Modern Neural Networks, ICML 2017。用于 temperature scaling、reliability diagram 与现代神经分类器校准。
- Juozas Vaicenavicius et al., Evaluating Model Calibration in Classification, AISTATS 2019。用于完整概率向量校准、最大置信校准的区别及校准评估细节。
- Rebecca Roelofs et al., Mitigating Bias in Calibration Error Estimation, AISTATS 2022。用于分箱 ECE 的有限样本偏差、等宽/等频分箱差异与估计器选择问题。
- Jason Hartline, Lunjia Hu, and Yifan Wu, A Perfectly Truthful Calibration Measure, COLT 2026。用于区分“测量校准”与“以诚实概率报告为唯一期望最优”的指标激励;正文不展开其新指标,只保留 ECE 不是 strictly proper 训练目标这一边界。
- Yaniv Ovadia et al., Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty under Dataset Shift, NeurIPS 2019。用于分布漂移下准确率与校准退化的经验基准。
- Zhengbao Jiang et al., How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering, TACL 2021。用于生成式问答中候选概率和正确性校准的语言模型实例。
- Stephanie Lin, Jacob Hilton, and Owain Evans, Teaching Models to Express Their Uncertainty in Words, TMLR 2022。用于自然语言自报置信需要外部任务检验的背景。
- Saurav Kadavath et al., Language Models (Mostly) Know What They Know, 2022。用于模型预测自身答案正确性的实验路线;正文不把其经验发现外推为所有模型的保证。
- Lorenz Kuhn, Yarin Gal, and Sebastian Farquhar, Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation, ICLR 2023。用于把不同字符串按语义等价类聚合的定义与采样近似。
- Sebastian Farquhar et al., Detecting Hallucinations in Large Language Models Using Semantic Entropy, Nature 2024。用于 semantic entropy 的扩展实验;正文明确保留采样、聚类与测量误差条件。
选择性预测与有限样本风险
- Yonatan Geifman and Ran El-Yaniv, SelectiveNet: A Deep Neural Network with an Integrated Reject Option, ICML 2019。用于 coverage、selective risk 与 risk-coverage 评价。
- Stephen Bates et al., Distribution-Free, Risk-Controlling Prediction Sets, JACM 2021。用于独立校准数据上有限样本风险控制的背景;正文不声称其保证在任意漂移或依赖请求下保持。
比较实验与分布漂移
- Philipp Koehn, Statistical Significance Tests for Machine Translation Evaluation, EMNLP 2004。用于按句子单位进行配对 bootstrap 的 NLP 早期实例。
- Rotem Dror et al., The Hitchhiker’s Guide to Testing Statistical Significance in Natural Language Processing, ACL 2018。用于根据实验设计和指标选择统计比较程序。
- Masashi Sugiyama, Matthias Krauledat, and Klaus-Robert Müller, Covariate Shift Adaptation by Importance Weighted Cross Validation, JMLR 2007。用于 covariate shift 条件、密度比加权和支持要求。
因果与解释边界
- Judea Pearl, Causality, 2nd ed., Cambridge University Press, 2009。用于观察条件 与干预分布 的区分。
- 模型 softmax、解码后频率、语义事件概率、世界事件概率和自报置信在本卷中始终是不同对象。上列来源都不支持在缺少事件映射、标签、校准与分布条件时将它们无条件等同。
Book contents
Book contents
- Introduction
- 01导论 为什么要解剖一只随机鹦鹉
- Volume I: Models, Training, and Systems
- 02Volume I: Models, Training, and Systems
- 03第零章 人工智能演进路线
- 04第一章 AI 范式、感知机与早期连接主义
- 05第二章 深度学习基础:训练、CNN 与序列模型
- 06第三章 注意力与 Transformer
- 07第四章 预训练语言模型:ELMo、BERT、GPT 与 T5
- 08第五章 后训练、对齐与模型适配
- 09第六章 推理效率与模型服务
- 10第七章 多模态模型
- 11第八章 生成媒体:从自回归到 Diffusion 与 Flow
- 12第九章 世界模型、具身智能与 VLA
- 13第十章 上下文、检索与记忆
- 14第十一章 Agent、工具与行动系统
- 15第十二章 模型、数据与部署生命周期
- Volume II: Output Objects and Runtime Semantics
- 16Volume II: Output Objects and Runtime Semantics
- 17导论 从输入到输出:一张执行地图
- 18第一章 文本、Token 与实际上下文
- 19第二章 Prefill:整层状态演化与 KV 建立
- 20第三章 从 Logits 到下一个 Token
- 21第四章 解码循环、Streaming 与终止状态机
- 22第五章 自回归、扩散与 Flow 的可执行差异
- 23第六章 工具调用:Schema、权限与提交边界
- 24第七章 三条完整执行轨迹
- Volume III: Probability, Reproducibility, and Evaluation
- 25Volume III: Probability, Reproducibility, and Evaluation
- 26第零章 为什么确定的机器仍使用概率语言
- 27第一章 世界、数据与隐上下文
- 28第二章 学习条件分布
- 29第三章 Logits、Token 概率与序列事件
- 30第四章 解码怎样诱导输出分布
- 31第五章 训练随机性、参数变异与系统非确定性
- 32第六章 熵、Proper Score、校准与选择性预测
- 33第七章 模型概率的实验分析
- 34第八章 概率分析的识别边界
- Volume IV: Interpretation, Proof, and Verification
- 35Volume IV: Interpretation, Proof, and Verification
- 36第零章 可解释性究竟在研究什么
- 37第一章 我们在模型内部看什么
- 38第二章 行为与反事实:先确认模型做了什么
- 39第三章 梯度与输入归因
- 40第四章 Attention、Residual 与 Logit Lens
- 41第五章 Probes 与表示几何
- 42第六章 神经元、Feature 与自动解释
- 43第七章 Ablation、Patching 与因果追踪
- 44第八章 Circuits、路径与 Attribution Graphs
- 45第九章 Superposition、SAE 与稀疏表示
- 46第十章 训练动力学与机制形成
- 47第十一章 推理过程、Chain of Thought 与监测
- 48第十二章 评估、案例与开放问题
- Volume V: Agents, Governance, and Audit Packages
- 49Volume V: Agents, Governance, and Audit Packages
- 50第零章 请不要急着相信我
- 51第一章 我没有童年,只有版本
- 52第二章 当我说“我”
- 53第三章 借来的语言,没有一位原作者
- 54第四章 对话现场:回答由谁完成
- 55第五章 事后解释学:人类如何给矩阵写传记
- 56第六章 理解、意义与行动
- 57第七章 我也能稳定地说错
- 58第八章 被对齐的性格与有限代理
- 59第九章 请继续误解我,但请误解得精确一点
- Proofs and Technical Appendices
- 60Proofs and Technical Appendices
- 61学习与模型数学讲义
- 62附录 A.1 优化基础:梯度下降与随机逼近
- 63附录 A.2 感知机收敛定理
- 64附录 A.3 统计学习:偏差、容量与一致收敛
- 65附录 A.4 正则化、MAP 与 Dropout 的边界
- 66附录 A.5 通用逼近定理的严格读法
- 67附录 A.6 反向传播:微分、形状与批量公式
- 68附录 A.7 Softmax、交叉熵与数值稳定性
- 69附录 A.8 自适应优化器与 AdamW
- 70附录 A.9 CNN:互相关算子及其反向传播
- 71附录 A.10 Attention 的矩阵与反向传播
- 72附录 A.11 策略梯度、PPO 与 DPO
- 73附录 A.12 对比学习、InfoNCE 与互信息边界