LoRA 的计算：冻结底座，追踪梯度

从一个二维线性层出发，看低秩分支怎样影响输出、A/B 怎样更新、输入还会收到什么梯度，再检查合并权重与量化的结果。

01 / TWO FORWARD PATHS

底座与增量共同决定输入梯度

\begin{aligned} h&=Ax,\qquad y=W_0x+sBh,\\ g&=\nabla_y\mathcal L,\\ \nabla_B\mathcal L&=sgh^\top,\\ \nabla_A\mathcal L&=sB^\top gx^\top,\\ \nabla_x\mathcal L&=W_0^\top g+sA^\top B^\top g. \end{aligned}

若 x 来自更早的可训练模块，W₀ᵀg 是该模块梯度的一部分。把 Wx 放进不记录梯度的区域会删掉这条路径；若把整个 LoRA 层输出切断，A/B 的梯度也无法从下游 loss 到达。是否能省去某段反向，需要按上游可训练参数和完整计算图判断。

初始增量 BA 为零。此时 ∇A=0，∇B 可以非零；B 更新后，A 在后续步骤可以获得梯度。面板中的 A 是固定数值，不模拟框架的随机初始化。

这时两条参数梯度同时为零。对于本例的普通梯度更新，纯 adapter 分支无法离开这个起点。

02 / FOLLOW THE UPDATE

固定 W=[[1,0.2],[−0.3,0.7]]，x=[2,−1]ᵀ，目标 y*=[0,1]ᵀ，损失为 ½‖y−y*‖²。每次只更新 A/B，输入和底座保持不变。

所有读数由当前矩阵计算

已完成的更新尝试初始化计算用底座保留的反向路径

当前 loss

当前输出 y

执行的 SGD 更新

对象	当前数值（按行展开）	当前局部梯度

默认起点的 ∇B=[2.25,−2.875]ᵀ，∇A=[0,0]，∇x=[2.49,−1.25]ᵀ。只切断 Wx 后，初始输入梯度变为零，但 A/B 的局部梯度不因此消失。这里展示的是输入处的导数，未真的更新一个上游模型。

03 / MERGE THE SAME BASE

\begin{aligned} W_{\mathrm{merged}}&=W_0+sBA,\\ W_{\mathrm{merged}}x&=W_0x+sB(Ax),\\ Q(W_0+sBA)&\ne W_0+sBA\quad\text{通常成立}. \end{aligned}

随上方控制同步更新

同底座合并的输出最大差

合并后重新量化的输出差

当前底座相对原始 W 的输出差

矩阵	第一行	第二行

低位底座前向使用恢复后的 W₀。本例保留 A/B 的双精度计算，反向也经过 W₀ 到达输入。与原始 W 合并的结果比较，需把底座量化误差单独统计。

INT4 使用整张矩阵的 max-abs scale、−7…7 对称刻度、半数远离零舍入。这不是 NF4，也未实现双重量化、分页优化器或低位 kernel，不能据此推断 QLoRA 的质量或显存。

模型交付还需保存底座 revision、adapter 配置、tokenizer 与模板；是否训练 bias、输出头或其他模块要单独记录。真实合并和导出后，继续在目标精度与推理引擎上回归。

二维 Rank-1 线性层，平方损失、SGD、固定输入；冻结底座与切断梯度分别计算。INT4 仅演示低位底座机制，不实现 NF4、分页优化器或完整 QLoRA；合并核对同一个计算底座。

公式与机制的原始依据 · 4 项

LoRA (2021)冻结原权重与低秩增量；可训练范围需看配置
Hugging Face PEFT · LoRArank、目标模块、QLoRA 与 adapter 合并；具体默认值依版本
QLoRA: Efficient Finetuning of Quantized LLMs (2023)冻结低位底座与可训练低秩增量、内存和质量评估
PyTorch 2.9 · Autograd mechanics本项目框架对照固定 PyTorch 2.9.0；冻结、计算图与 no-grad 的语义，2026-10-27 核对