03 / POST-TRAINING
“继续微调”可能是在重塑句向量几何，也可能是在模仿回答格式、学习偏好排序，或让小模型模仿大模型。 它们都仍然使用梯度，但训练数据的组织、loss 和被优化的对象不同。
切换阶段。右侧的高亮表示这一步最直接优化什么，箭头表示可能顺带影响什么。
GENERAL PRETRAINING
语言模型用下一词预测、掩码预测等自监督目标学习语言结构与世界统计。句向量检索质量和回答的有用性需要相应任务训练与评估。
L = -Σ log p(tokenₜ₊₁ | token≤ₜ)
文本自身
全部参数
语言建模 / 下游任务
检索匹配和回答偏好尚需任务评估
对照监督数据、损失函数和梯度路径，可以看清这些方法各自优化什么。
数据是 query、positive、hard negative。InfoNCE 直接把语义检索的排序误差传回编码器，让向量空间更适合你的任务。
loss = CE(q @ dᵀ, positive_idx)
数据是 prompt 与示范 response。这里采用常见的 response-only 交叉熵，直接监督回答部分；全序列 SFT 也存在。prompt 虽不直接计 loss，仍作为上下文参与计算。
loss = -Σ log p(responseₜ | prompt, response<ₜ)
数据是 prompt 下的 chosen vs rejected。DPO 优化策略相对 reference 模型的对数概率优势；RLHF 常先训练 reward model，再优化策略。
提高 chosen 相对 rejected 的 log πθ - log πref
为什么 SFT 也可能“改 embedding”？ 因为它会更新同一网络里的权重，表示也会变化。SFT 直接优化回答 token 的概率，query-document 排序则可能改善或退化，需要单独做检索评估。
随机负样本太容易，负样本全用最难的又可能很脏。真实流程通常是一个采样—评估—再训练循环。
用当前模型为每个 query 召回 top-N，拿到的往往是“表面很像”的困惑样本。
用规则、更强 reranker、人工或领域标签，按任务标准检查相关性、可回答性和错误内容。
query + 可回答正例 + 硬负例。训练过程影响下一次召回，因此需要定期刷新。
优化 InfoNCE，同时检查其他语言/领域/任务，避免为了一个 benchmark 牺牲整体。
如无关的咖啡店段落。提供正负区分压力，但不保证避免坍缩；若已容易区分，其梯度贡献可能很小。
共享关键词、主题相近，但不含答案。可提供细粒度区分信号，收益取决于难度与标注可靠性；假负例会引入错误压力。
被标为负例的段落也可能满足任务要求。这样的漏标会让训练压低有效证据的分数。
后训练目标、输出头和使用协议共同决定模型对外提供的接口。
编码一段文本，输出固定或可变长度的向量。关注批次、最大长度、输入指令、池化、归一化和维度。
text → vector
联合编码每个 query–候选对并输出相关性分数，多对可以组成 batch。不能像 bi-encoder 那样复用独立文档向量；质量收益与延迟需实测。
(query, passage) → score
输入前文，输出下一 token 分布。将隐藏状态用于句向量时，需另外验证读出方式与检索效果。
text → token probabilities
在 pooled representation 上接分类头，分类目标促进类别可分；检索效果需按检索任务另行测试。
text → label distribution
评估目标任务的收益，同时检查其他语言、长度、领域和服务指标的变化。
检索 Recall@k、MRR；聚类；分类 F1。先确认你想优化的主指标真的动了。
语义相似、重复检测、其他语言、短/长文本。避免“只对训练数据分布有效”。
维度、索引内存、编码吞吐、batch 延迟。embedding 不只有质量，也有服务边界。
文档内容、切块或文档编码规则改变时，应重新编码受影响文档并更新索引。仅改查询指令或查询侧模型时，先验证与现有文档向量的兼容性和检索质量，再决定是否重建。
这里选取近一年公开、能补充现有机制的案例。日期对应具体发布或论文版本；来源披露、局部公式核验和完整训练复现分别说明，厂商报告的分数没有在本站重跑。
| 版本化案例 | 值得理解的新问题 | 公开与核验范围 |
|---|---|---|
| DeepSeek Self-Feedback RL 2026-10-17 | 模型反馈怎样进入训练？ | 官方确认采用；发布说明未给出具体奖励与更新配方。 |
| Qwen SAPO 2025-12-01 · v2 | 硬裁剪与软门控改变哪些梯度？ | 论文有目标与公式；本站只重算固定输入，不复现模型质量。 |
| QwenGyre 2026-10-20 · v2 | 长任务的 GPU 调度和分支轨迹怎样协同？ | 核对论文的调度、评分与 token 来源语义；未运行完整系统。 |
| Moonshot Kimi K2.5 / PARL 2026-01 | 怎样训练编排者分工，并防止无效并行？ | 官方披露机制与关键步数公式；本地仅验证手工步数算例。 |
| Microsoft Agent Lightning v1.0 2026-08 · 10 月博客说明 | 部署 harness 拆出的调用，怎样成为训练样本？ | 论文和固定官方源码可查；GPU 训练与成绩未在本站重跑。 |
| NVIDIA Nemotron 3 Ultra / MOPD 2026-06 报告 | 多环境 RL 后，怎样汇集领域教师的能力？ | 报告及代表性配方公开；中间权重缺失，完整训练链不能由公开工件重建。 |
阅读每项时，先确定它主要改变反馈来源、策略目标、执行调度还是教师信号，再进入对应专题。产品版本更新并不自动意味着训练机制发生同样变化。
再沿工程条件核对：实际采样与训练概率怎样校正、原生低位训练怎样分配精度，以及 rubric 怎样汇总成奖励。三个固定输入例子均提供离线重算方式。
训练目标与交付还可接着看：
来源版本差异与本地算例的适用范围分别说明。
训练期的负载控制与结构变化分别见 MoE bias、分模态统计与因果边界和 mHC、Sinkhorn 与 Single-Pass，各自保留版本差异和离线核验。
参数读取、更新与执行还可继续看 Engram 查表与重复梯度、逐头 Muon 与表参数 L2 均衡和 DualPipe 的依赖与资源重叠；三者都提供固定输入与核验命令。
本页比较训练目标，公开案例按截至 2026-10-30 核对的版本导航。机制、固定输入核验和完整训练复现分开；另连接采样校正、低位训练、rubric、MTP、WSD 平均、MoE 负载控制与 mHC，资料差异不合并口径。