持续学习：新旧任务怎样共享参数

同一组权重服务多个任务，新任务的梯度也会改变旧任务的预测。用局部更新解释干扰，再把数据覆盖、参数约束、容量和评估一起放回训练流程。

01 / SHARED UPDATE

沿 B 的梯度更新，对 A 会发生什么？

\begin{aligned}\theta'&=\theta-\eta g_B,\\\mathcal L_A(\theta')&\approx\mathcal L_A(\theta)-\eta g_A^\top g_B. \end{aligned}

梯度冲突是一种局部机制。遗忘还受样本覆盖、优化器历史、共享表示重组、任务顺序和训练时长影响；一批样本的梯度夹角不能代表整个任务。旧任务表现下降时，先区分测量波动、模板/部署变更、分布变化与参数更新带来的回归。

02 / TWO TASKS

固定初始参数 θ=(0,0)，任务目标分别是 a=(1,0) 与单位圆上的 b。所有曲线和更新均可按公式精确核算。

\begin{aligned}\mathcal L_A(\theta)&=\tfrac12\lVert\theta-a\rVert^2,\\\mathcal L_B(\theta)&=\tfrac12\lVert\theta-b\rVert^2,\\g&=(1-w)g_A+wg_B,\quad\theta'=\theta-\eta g,\\\Delta\mathcal L_A&=-\eta g_A^\top g+\tfrac12\eta^2\lVert g\rVert^2. \end{aligned}

两个二维二次任务 · 无大模型训练

两任务夹角 B 的混合权重步长 η 梯度处理

原始梯度 cosine

更新后 A 损失

更新后 B 损失

任务	初始损失	一阶预测	精确更新结果

每次调整从原点重新计算一步。投影模式用原始两条梯度各投影一次，再按权重相加；用于解释 PCGrad 思路，未复现一般多任务随机投影顺序或完整优化器。

投影具体移除了什么？

g_A'=g_A-\frac{g_A^\top g_B}{\lVert g_B\rVert^2}g_B\qquad(g_A^\top g_B<0)

03 / RETENTION

路径	保留什么	付出的代价	需要验证
数据重放 / 混合	旧任务样本继续贡献梯度。	数据存储、权限、额外训练和新任务预算。	重放数据是否覆盖需要保留的行为，比例是否匹配。
教师分布约束	在选定输入上维持旧模型的输出分布。	教师推理、参考样本和约束权重。	旧教师错误是否被保留；未覆盖输入上的行为变化。
参数重要性正则	限制被估计为重要的参数离开旧值。	重要性估计、状态存储及对可塑性的限制。	局部/对角近似是否合适，后续多任务累积是否过强。
Adapter 或模块隔离	分开保存任务增量，按需路由或切换。	多套工件、路由和组合复杂度。	共享模块仍有干扰，加载某 adapter 后原行为也需回归。
梯度处理	缓和当前任务梯度的局部冲突。	分别计算任务梯度、通信与额外显存。	改变方向后是否改善目标指标，而不只是夹角更好看。

\mathcal L=\mathcal L_{\mathrm{new}}+\frac\lambda2\sum_j F_j(\theta_j-\theta_j^*)^2

可塑性与稳定性取决于目标任务。完全固定模型能保留权重，却无法通过参数吸收新信息；放开全部参数提供调整空间，也要承担回归风险。先定义需要保留的任务，再选择约束，而不是单凭“LoRA”“持续训练”等名称判断。

04 / EVALUATION MATRIX

01 / BASELINE

任务 A/B/C 使用同样模板、环境与预算，记录均值、区间和失败集。

02 / TRAIN

保留数据量、训练预算、顺序、混合和优化器状态。

03 / MATRIX

行是训练阶段，列是任务；包括未训练的新任务，区分保留、迁移和干扰。

04 / DECIDE

新能力和旧能力的最小门槛、成本、回滚点一起决定发布。

把某个旧任务相对其历史最好表现的下降记为遗忘指标时，最好点也可能受噪声影响。保留逐任务结果、样本量和阶段信息，不用一个平均数掩盖关键能力。顺序 A→B 与 B→A、同预算联合训练、不同重放比例都是有价值的对照。

两任务都是二维二次损失，每次从原点更新一步。对称投影是 PCGrad 思路的简例；方向、损失和曲率可精算，不能外推大模型遗忘或长期收敛。

公式与机制的原始依据 · 4 项

Gradient Surgery for Multi-Task Learning (2020)任务梯度干扰与 PCGrad，局部投影及多任务实验
Overcoming catastrophic forgetting in neural networks (2017)以旧参数及对角 Fisher 重要性约束后续训练的 EWC 方法
Thinking Machines · On-Policy Distillation (2025-10-27)学生前缀上的教师 token 信号、reverse KL 与恢复后训练行为的案例
LoRA (2021)冻结原权重与低秩增量；可训练范围需看配置