Glen Li's Gallery
站点导航
模型工程 WIKI
← 返回书架人工智能 · 交互式 Wiki
模型工程/Batch 与梯度噪声资料与边界
训练目标与优化进阶实测报告

BATCH / SEQUENCE GRADIENTS / TOKEN BUDGET

Batch 与梯度噪声：从固定参数走到真实训练

先固定模型 θ，测量独立完整序列的梯度和总体协方差；再让模型实际更新，比较相同样本流、相同消费 token 和相同评估集下的学习结果。抽样方差和训练效率分别有自己的证据。

01 / FIX THETA AND OBJECTIVE

固定 θ 后，先定义每条序列的梯度

ℓi(θ)=1Ti∑t∈Si−log⁡pθ(yi,t∣xi,≤t),gi=∇θℓi(θ),μ=1N∑i=1Ngi,ΣN=1N∑i=1N(gi−μ)(gi−μ)T,tr⁡(ΣN)=1N∑i∥gi−μ∥2.\begin{aligned}\ell_i(\theta)&=\frac{1}{T_i}\sum_{t\in\mathcal S_i}-\log p_\theta(y_{i,t}\mid x_{i,\le t}),\\g_i&=\nabla_\theta\ell_i(\theta),\qquad \mu=\frac1N\sum_{i=1}^N g_i,\\\Sigma_N&=\frac1N\sum_{i=1}^N(g_i-\mu)(g_i-\mu)^{\mathsf T},\\\operatorname{tr}(\Sigma_N)&=\frac1N\sum_i\lVert g_i-\mu\rVert^2.\end{aligned}
𝒮ᵢ 是序列 i 的监督位置，Tᵢ=|𝒮ᵢ|，EOS 也受监督。本实验 Tᵢ=4、N=6；协方差明确使用总体分母 N，模型参数、记录和完整梯度矩阵保存在本机。

固定参数实验使用共享 decoder 的初始化 θ，width=32、depth=2、heads=4、Pre-LN、dropout=0，CPU float64。每条序列单独 autograd，拼接全部可训练参数；六条的平均梯度还与同一 sequence-mean 目标的整批 autograd 核对。实际矩阵直接计算均值与中心化平方和，避免在均值很小时从两个大数的差恢复噪声。

Gram 矩阵 Kᵢⱼ=gᵢᵀgⱼ 保存全部梯度内积，页面用它精确重建有限人口的 batch 范数、与 μ 的方向余弦和平方偏离。导入会检查对称与正半定；浮点相消使平均梯度范数接近零时，噪声比值和方向显示未定义／病态。

02 / WHICH SAMPLING LAW

有放回与无放回的方差分别是什么？

gˉB=1B∑b=1BgIb,E[gˉB]=μ,Cov⁡(gˉB)iid=ΣNB,Cov⁡(gˉB)without=N−BB(N−1)ΣN,1≤B≤N, N>1.\begin{aligned}\bar g_B&=\frac1B\sum_{b=1}^B g_{I_b},\qquad \mathbb E[\bar g_B]=\mu,\\\operatorname{Cov}(\bar g_B)_{\rm iid}&=\frac{\Sigma_N}{B},\\\operatorname{Cov}(\bar g_B)_{\rm without}&=\frac{N-B}{B(N-1)}\Sigma_N,\qquad 1\le B\le N,\ N>1.\end{aligned}
有放回时 Iᵦ 独立且在 N 条序列上均匀。无放回是均匀选择 B 个不同人口项。N=1、B=1 只有唯一梯度，方差为 0；B=N 的无放回方差也为 0。
有限总体修正、样本分母与相关反例
Cov⁡(gˉB)=1B2(BΣN+∑b≠cCov⁡(gIb,gIc)),Cov⁡(gIb,gIc)without=−ΣNN−1,SN−1=NN−1ΣN,Cov⁡(gˉB)without=1−B/NBSN−1.\begin{aligned}\operatorname{Cov}(\bar g_B)&=\frac1{B^2}\left(B\Sigma_N+\sum_{b\ne c}\operatorname{Cov}(g_{I_b},g_{I_c})\right),\\\operatorname{Cov}(g_{I_b},g_{I_c})_{\rm without}&=-\frac{\Sigma_N}{N-1},\\S_{N-1}&=\frac{N}{N-1}\Sigma_N,\\\operatorname{Cov}(\bar g_B)_{\rm without}&=\frac{1-B/N}{B}S_{N-1}.\end{aligned}
Sₙ₋₁ 是使用 N−1 分母的样本协方差；用它表达时必须同时调整公式。总体分母为 N 时不能直接把 (1−B/N)/B 乘 Σₙ。

整批重复同一个随机序列，各槽位共享梯度，交叉协方差为 Σₙ，batch 方差保持 Σₙ。相关混合以概率 ρ 整批重复，以概率 1−ρ 独立抽样，每个槽位仍然均匀，交叉协方差为 ρΣₙ。

Cov⁡(gˉB)correlated=(ρ+1−ρB)ΣN\operatorname{Cov}(\bar g_B)_{\rm correlated}=\left(\rho+\frac{1-\rho}{B}\right)\Sigma_N
本页 ρ=.5 是明确的混合抽样法则，穷举按对应概率加权。它不是由训练结果倒推的相关系数。

人口中出现重复记录与一批内重复同一随机记录需要分开：前者若仍独立抽取索引，按新人口的 Σₙ/B 计算；后者产生交叉协方差，不能把多份复制当成多份独立信息。

03 / READ ACTUAL RECORDS

保存、重跑和本地导入

.venv-framework/bin/python scripts/test-training-dynamics.py
node --test scripts/test-training-dynamics.mjs
node scripts/run-dynamics-lab.mjs --out-dir artifacts/dynamics-lab-my-run --write-page-data

实验使用共享 core，固定 PyTorch 2.9.0 / NumPy 2.3.4 CPU 单线程环境。完整 report 包含梯度人口、精确抽样结果、训练曲线、各次更新的样本与 LR、逐题预测及恢复核对；checkpoint 另保存参数、optimizer、RNG、数据流和 cursor。默认快照只提取必要字段和少量预测，不加载完整轨迹。

等待实测快照初始化。

文件只在本地浏览器读取，结构校验不认证外部数据来源。经过时间含评估、梯度探针和保存，可能受同机任务影响，不作为各 batch 的吞吐比较。已有报告目录拒绝覆盖。

07 / DIAGNOSTIC AND SCOPE

简单噪声比值支持哪种判断？

Bsimple=tr⁡(Σ)∥μ∥2,BHessian=tr⁡(HΣ)μTHμB_{\rm simple}=\frac{\operatorname{tr}(\Sigma)}{\lVert\mu\rVert^2},\qquad B_{\rm Hessian}=\frac{\operatorname{tr}(H\Sigma)}{\mu^{\mathsf T}H\mu}
简单比值描述固定 θ 的梯度信噪关系；右侧是论文局部二阶分析中的 Hessian 加权量。此页没有测量 H，也不估计右侧。分母近零、非正曲率和局部近似条件都需要单独判断。

McCandlish 等的分析从局部二阶 Taylor 展开和适当步长出发，并明确讨论短视优化、条件数、简单近似、LR 调参、非二次项与泛化边界。附录 A.1 用不同 batch 的梯度范数估计均值平方与 covariance trace；两者的估计各可无偏，取比值却不自动无偏。这里对六条人口直接测量梯度并穷举，不把小人口精确计算冒充部署分布的无偏最优 batch 估计。

2026-10-28 已读取该作者论文第 2.2–2.4 节的协方差关系、式 2.8／2.9 与限制，以及附录 A.1 的估计器说明。共享 core 的任务、标签、Norm、自由生成和恢复 API 也已逐行核对。完整作者、标题、URL 与读取范围记录于专题实施说明和 report provenance。

共享 decoder 训练与泛化初始化与宽度参数化梯度累积与全局分母样本流与训练预算逐题配对评估

适用范围与一手资料

以独立序列为样本，固定内部监督归一化，在同一参数点核算平均梯度、总体协方差迹与抽样修正；训练曲线另以实际消费 token 对齐。零均值、重复和相关样本需独立解释，统计量不直接确定任意优化器的最优 batch。

公式与机制的原始依据 · 3 项
知识目录
搜索知识库