← 返回书架人工智能 · 交互式 Wiki
模型工程/长度泛化失败诊断资料与边界
训练目标与优化进阶实测报告学习主线 4 / 6 · 实战延伸

实战一 / 从失败分数到可检验的解释

测试 100%,长一点为什么就失败?

沿用已有反转模型的真实权重,先复核原始预测,再干预结束规则、位置信号和训练长度支持。把“观察到了什么”与“原因已经证实了吗”分开。

01 / FREEZE THE QUESTION

先固定比较对象,防止悄悄换题

原模型只训练长度 2–5。原独立测试保持相同长度、使用未见的反转等价组;长度 6–8 是原报告的外推集。诊断另加长度 9–10 的独立组。所有原始权重与已保存测试预测先逐题复核,不重新挑 checkpoint。

第一组扩展训练在原训练集之外加入长度 6–8 的新训练组,并排除所有评估组。每个 seed 仍固定 1,200 次更新、batch 64、AdamW LR 0.003、dropout 0.1、裁剪阈值 1;数据序列及消费 token 均保存。原先的“长度外推集”对扩展模型已经变成训练长度范围内的未见输入,真正的新长度外推是 9–10。

两组对照固定的预算不同

第一组固定 1,200 次更新,监督 token 和 FLOPs 未对齐;扩展组消费更多 token,padding 与计算形状也变化。第二组固定 410,000 个监督标签,更新次数与计算量仍不同。两组都需保留全部 seed,分别解释各自预算下的方案差异。

02 / SAVED COMPARISONS

同一个 seed、同一道题,逐项比较

蓝线为原模型的自由生成,紫线为当前对照。切换条件不会在浏览器训练或重新采样,展示的每条预测均来自保存的实际运行。

默认仅展示每个长度最前六条实际记录;上方指标用完整评估集计算,完整逐题记录在下载报告中。

03 / WHAT THE INTERVENTION SAYS

三种干预,各自允许得出什么结论?

提前结束是否足以解释失败?

EOS 诊断在答案内容应输出完之前禁止 EOS,其余 token 仍由模型选择,仍以实际 EOS 或 20-token 上限结束。反转任务的答案长度可从输入长度推得;这里额外加入任务长度规则,改变了原解码策略。提前结束消失而完整匹配仍为 0%,说明这条修补不足以恢复正确反转,内容顺序也需要检查。

位置信号是否敏感?

保持权重和 token 不变,将固定正弦位置信号整体平移 +4。输出变化说明该扰动影响了当前计算。它并没有训练另一种位置编码,也无法单独证明原失败由位置表示造成。更换位置方案的结论仍需独立训练对照。

扩大训练长度后发生什么?

长度 6–8 的组外预测随 seed 明显变化,不能用最好的一次代替全部结果。长度 9–10 仍失败,支持范围内学习改善与算法式长度外推应分别报告。扩大训练支持同时改变 token 量;下节给出已经独立冻结并完成的等监督 token 对照。

正确前缀与自由运行有何区别?

Teacher forcing 的 EOS 概率与内容 top-1 使用正确答案前缀。自由生成则接收自己此前的错误。两者配合能定位结束倾向与错误累积,不能把正确前缀下的准确率当作完整生成成功率。

04 / MATCH SUPERVISED TOKENS

固定监督 token 后,长度支持的差异还在吗?

新增六次独立训练:三个 seed、两种训练支持,均从同一份对应初值出发,恰好使用 410,000 个监督标签。数据划分、组隔离、最终权重规则和优化器配方预先固定,不按测试表现继续调整。

这个对照补齐了相同监督量的证据,但长度分布、独立训练组数和更新数仍然不同。因此可以比较固定监督预算下的整个训练方案,不能把所有变化识别为单独的长度因果效应。

05 / REPRODUCE

保留解释能够被推翻的证据

完整报告包含三 seed 的原始、EOS 诊断、位置平移及扩展训练预测;另保存逐位置概率、分组数据、每步样本 ID、消费量、训练曲线和扩展权重。论文提供长度泛化的研究背景,本轮结论只依赖这里的任务与对照。

适用范围与一手资料

四符号反转任务的保存权重诊断。EOS 约束使用任务答案长度,位置平移仅作推理扰动。两组独立训练对照分别固定 1,200 次更新和 410,000 个监督标签;前者监督量未对齐,后者更新数未对齐,均未对齐计算量。全部三个 seed 保留,不识别单独的长度因果效应。

公式与机制的原始依据 · 3 项
知识目录
搜索知识库