不确定性：何时回答，何时查证

一个答案可以流畅、自信、反复出现，同时缺少事实依据。把模型概率、语义一致性、校准和证据分开测量，才能决定何时回答、检索、追问或交给人工。

01 / SIGNALS

模型的“自信”可能来自什么？

信号	实际测量	用途	局限
Token log-prob / 熵	给定前缀和生成协议的词表分布。	观察预测集中程度、比较候选序列。	同义改写、长度、模板和温度都影响数值；不能直接解释为整条答案的正确率。
口头置信度	模型输出“有把握”或一个分数。	作为待校准的预测特征。	受指令、措辞和后训练影响，需用带可靠标签的数据检查。
语义一致性	多次采样的答案含义是否一致。	发现对采样扰动敏感的回答。	共同误解、系统性推理错误可能稳定重复。
外部验证	原文支持、数据库状态、计算或测试结果。	核对特定主张或可执行结果。	来源、时间、测试覆盖和判分器本身也需要检查。

讨论幻觉时，先明确是事实错误、无依据补写、引用不支持、与输入矛盾，还是推理错误。问题缺少必要信息时，可以追问；资料需要更新时，可以检索；验证成本很低时，可以计算或执行检查。风险信号帮助选择后续动作，正确性仍由任务标准决定。

02 / SELECTIVE ANSWERING

\begin{aligned}\operatorname{coverage}(\tau)&=\frac{\sum_i\mathbf1[s_i\ge\tau]}{n},\\\operatorname{risk}(\tau)&=\frac{\sum_i\mathbf1[s_i\ge\tau](1-y_i)}{\sum_i\mathbf1[s_i\ge\tau]}.\end{aligned}

10 条人工样本，真实标签已知

回答阈值最高分样本也是错误答案

复选框只改变第一条的正确性，保持分数不变，用来观察高分错误怎样穿过筛选。

回答覆盖率

已回答错误率

回答数

样本	分数	正确性	决策

筛选效果取决于分数的排序质量。提高门槛会减少回答量，但剩余错误率在有限样本上不保证逐点下降；本例也不表示任何真实模型的风险曲线。

阈值还要结合成本：错误回答、人工复核、检索和拒答各有代价。按语言、任务、长尾和高影响场景检查被放弃的人群；只报告回答部分的准确率，会遗漏覆盖损失。后训练或数据分布变化后，需要重新校准和评估。

03 / CALIBRATION

校准比较分数与实际频率。把相近分数的样本分到一组，比较平均分数和正确率；样本越少，估计越不稳定。一个永远报总体成功率的模型可能校准良好，却无法区分哪些题更难，因此校准和区分能力要一起看。

\begin{aligned}\operatorname{Brier}&=\frac1n\sum_i(s_i-y_i)^2,\\\operatorname{ECE}&=\sum_b\frac{|B_b|}{n}\left|\operatorname{acc}(B_b)-\operatorname{conf}(B_b)\right|.\end{aligned}

全体 Brier

全体 ECE

分数区间	样本数	平均分数	实际正确率

Temperature scaling 与生成温度有什么关系？

两者都可能对 logits 除以温度，但目的不同。分类校准在独立校准集上拟合温度，再检查概率质量；生成温度改变采样分布。开放回答还需要定义答案事件和正确标签，仅把 token 分布变平并不能获得校准的事实正确率。ECE 的分箱选择、样本数量和分布变化也需报告。

04 / SEMANTIC ENTROPY

\hat H_{\mathrm{semantic}}=-\sum_c\hat p_c\log\hat p_c,\qquad\hat p_c=n_c/N

固定文本与人工语义簇

“中国的首都是哪里？”

经验语义熵

已知标签下的正确率

输出	含义簇	次数

Farquhar 等（Nature，2024）研究用语义熵检测对采样扰动敏感的错误生成，范围是幻觉中的一类。稳定重复错误时，熵可以很低；同义关系判断不准时，熵也可能被高估。使用时结合外部依据、任务切片和拒答代价，单独测量检出与误报。

10 条分数与真值、6 条语义输出都为人工设定。阈值只改变回答集合；Brier/ECE 使用全体样本。经验语义熵使用人工簇的次数比例，不复现全部论文估计器。

公式与机制的原始依据 · 3 项

On Calibration of Modern Neural Networks (2017)置信度、准确率、温度校准及分类实验；开放回答需另定义正确事件
Detecting hallucinations in large language models using semantic entropy (Nature, 2024)含义聚类和不确定性，检测采样敏感的 confabulations；不能识别所有系统性错误
Anthropic · Demystifying evals for AI agents (2026-01-09)任务、trial、grader、环境结果与 harness；重复执行和校准