配对评估：这次提升有多少不确定性

区间下界高于事先约定的最小收益，只构成一项证据。还要检查困难切片、误差严重性、成本与独立测试；p 值不表示“新模型更好的概率”，区间包含零也不等于证明两模型等效。

下面所有候选真实成功率都固定为 60%。每次从独立的 40 题验证结果中选最高分，再读取独立的 40 题测试结果。候选越多，验证最高分更容易偏高；这是一项理想化模拟，真实 checkpoint 常共享错误，独立性程度需要另查。

模拟对验证与测试使用分开的固定伪随机流，验证并列时选择最早候选。真实训练应预先固定选择规则、评估频率与收益门槛，最终独立测试保留到选择完成后。

{
  "schema": 1,
  "rows": [
    {"id":"q1", "group":"document-1", "seed":"11", "old":0.4, "new":0.6},
    {"id":"q2", "group":"document-2", "seed":"11", "old":0.8, "new":0.7}
  ]
}

文件上限 1 MiB、最多 2,000 行。id/group 必须是非空字符串，seed 可省略并归入 default；old/new 必须是 0…1 的有限数字。组 ID 应反映共享文档、会话或题族等相关单位，不能为了更好看的区间随意修改。文件只在本地浏览器读取，失败时清除旧结果。

选择“实测混合召回”会加载真实检索页保存的 24 道测试题、12 个来源组，比较 Flat 与两路并集的 MRR@10。两份评分来自同一道问题；按组时同一文档的术语型和换说法问题一起抽取。页面使用同样的 LCG seed=73、2,000 次重采样和线性分位，独立核对 Python 保存的完整分布。

这批测试题此前已被查看，新增融合配方属于探索性比较。这里的区间和交换检验附带各自假设，不消除标注偏差、开发集复用、组间相关或部署变化；显示的 default 只是固定模型运行标签。完整原始配对、运行时源码和分布保存在下方来源包。

回到候选覆盖、两路名次与原始段落 →

# 沿用本站已固定的独立 PyTorch 环境
npm run test:decisions
npm run lab:decisions

# 真实 Faiss CPU 索引实验（可选依赖）
uv pip install --python .venv-framework/bin/python -r scripts/index-requirements.txt
npm run lab:ann

lab:decisions 导出页面使用的固定输入与结果，由独立 Python 实现核对 Attention 自动微分和 Gloo 通信、RL 梯度与更新、量化矩阵乘、统计重采样和 IVF 查询。输出保存在新的 artifacts/decision-lab-* 目录，包含输入、环境、每个 rank 的结果与 report.json。

lab:ann 使用固定版本 Faiss 的 Flat/IVF 索引，在同一批向量与查询上记录召回、索引文件大小、预热后耗时和环境；不下载模型。不同设备上的耗时需重新测量。Gloo 实验使用本机 loopback 端口。