损失与命中率分别衡量什么
loss 与候选概率取本步更新前；点坐标和 Top-1 命中率取更新后。命中率按原始类别检查同一批可学习 query，不受错标修改，但它仍是训练点诊断，不是 held-out 泛化评估。每类有多个相关文档，因此这里应称 Hit@1，不能当作“找回全部相关文档比例”的 Recall@1。
训练目标与优化进阶计算演示
本页章节
LIVE EXPERIMENT / CONTRASTIVE TRAINING
二维训练模拟器：观察向量与损失的变化
这个模拟器会执行真实的 InfoNCE 前向与梯度更新。你可以调学习率、温度、难负样本比例和错误标签比例， 然后观察 loss、Hit@1、类内相似度与二维向量一起变化。
LIVE
一次信息检索 embedding 训练
先使用默认配置跑 50 步，再把“错误标签”调高，观察指标是反弹还是继续学偏。
EMBEDDING MAP / 2D
准备开始
0 steps
InfoNCE loss—
训练点 Hit@1—
类内 cosine—
类内 − 类间—
query
document
检索
生成
偏好
看什么
query 与正确类别的 document 应该靠近；没有难负例时，不同主题可能依旧粘在一起。错误标签会让梯度追着错误关系走。
RUN SIGNAL
loss history
尚未训练
最近一轮 batch
还没有训练样本
当前没有错误正样本。训练目标与评估目标一致，指标仍然可能受采样、学习率和温度影响。
HOW TO READ
模拟器里每个现象对应什么
每个点和分数都由当前参数计算得到；下方说明各指标的计算时点与含义。
温度决定谁主导梯度
温度降低会让概率更集中，梯度同时受概率与 1/τ 缩放影响。若正例已显著领先，梯度反而可能趋近零；若负例领先，分离压力可能增大。不能把低温度一概理解为更强的更新。
难负样本怎样影响分离
随机负例已容易区分时，难负例可增加细粒度分离压力，但并不保证收益；降低难负比例也不必然导致坍缩。本例将同类文档排除出负例池，只通过错误正例开关注入标注噪声。
错标怎样影响向量更新
模拟器把错误正样本当成真实目标参与 softmax 与反传。可以从向量移动和命中率变化中观察错标的影响。
SCOPE
模拟中包含和省略的环节
下面列出这个二维实验覆盖的计算，以及完整训练中仍需考虑的环节。
没有
Transformer、tokenizer、contextual pooling、batch 内其它 query 的 in-batch negatives。
没有
AdamW、学习率 schedule、混合精度、梯度累积与多卡通信。
有
点积、稳定 log-sum-exp loss 与解析梯度。先按 batch 平均，再逐向量裁剪梯度范数到 4，更新后投影到范数 ≤ 2.5 的球内；这不是全模型 global norm clipping。
看
目标函数如何把“标签关系”变成向量移动；它与工程页的资源流水线是两层，不互相替代。
适用范围与一手资料
这里真实更新二维可学习坐标，目标为简化 InfoNCE；没有 tokenizer、Transformer、AdamW 和多卡。训练动态不能外推成大模型收敛结论。
公式与机制的原始依据 · 2 项
- PyTorch · CrossEntropyLoss完整类别分母、ignore_index 与 reduction
- SimCSE (2021)dropout 正对、监督 NLI 正对与对比学习