← 返回书架人工智能 · 交互式 Wiki

训练目标与优化进阶专题讲解

FRONTIER 01 / SCALING LAWS

Scaling Laws：参数、数据与计算预算

参数 N 与训练 token D 争夺同一份 compute。Chinchilla 类结论给出一个重要基准，其适用范围由数据、架构和实验设置决定。预算选择还要考虑唯一数据量、推理流量、上下文长度、MoE 激活参数与目标能力。

固定 compute 下，N 与 D 此消彼长

选择 compute 与模型规模，页面按 C≈6ND 计算可训练 token；结果展示可用预算，最终 loss 由训练实验评估。

训练 compute C 模型参数 N 7B 滑杆按对数尺度映射到约 0.1B–70B。唯一训练 token 储备

预算分配 D = C / (6N)

可训练 token D238B

D / N34

相对唯一数据重复0.79×

如何读

D/N 仅描述当前训练预算的参数与 token 分配。图中的分档是教学参照，最优区间需用训练实验估计。

等 compute 曲线上的每个点消耗相同主训练 FLOPs；D/N 描述 token 与参数的数量比例。推理成本、数据质量和最终能力会改变你应选择的点。

Chinchilla 结论与它的边界

“模型和数据同比增大”来自特定实验设置，应用时需要校准。

经典结论

训练 compute 固定时，过大的模型会缺少训练数据

Chinchilla 系列实验表明，在特定 setup 中，较小模型配合更多 token 可优于参数更大但欠训练的模型；常用“约 20 tokens/param”作为沟通基准。

适用边界

数据分布、架构、词表和目标会移动最优点

MoE、长上下文、不同质量的数据、训练后推理量、蒸馏/重复数据和特定任务都会改变“同等预算下什么最好”。

推理感知

大使用量会把选择推向更小模型

训练只是一次性（或阶段）成本，推理是持续成本。高 QPS 场景可能宁愿多训练较小模型，以降低每 token 的权重读取、KV 与延迟。

质量与重复

D 统计实际处理的训练 token

计算 C ≈ 6ND 时，重复 token 也消耗算力并计入 D。唯一数据量与质量要另记；相同 D 不代表相同有效学习信号，也不保证同一条 loss 拟合曲线适用。

Scaling Law 常用哪些变量？

简化形式用于描述趋势；预测具体模型前，应先校准系数并验证适用范围。

PARAMETRIC LOSS

L(N,D)\approx E+\frac{A}{N^\alpha}+\frac{B}{D^\beta}

E 是不可约误差的示意，N 项与 D 项分别反映模型容量与数据不足。具体数据、架构、优化器会改变系数与拟合域。

COMPUTE

C\approx6ND

把训练成本与规模联系起来的量级近似。MoE 要用激活参数与通信/专家开销另行校正；长序列增加 attention 项。

INFERENCE

F_{\mathrm{param}}\approx2Q P_{\mathrm{active}}

这估算 Q 个 token 的前向参数计算量；服务价格与时延还取决于其他成本。还要计入 attention、KV、batch、精度、MoE 通信与硬件利用率；训练最优与长期总成本最优可能不同。

迁移拟合结果时：tokenizer、数据混合、MoE 路由和训练配方的变化都可能移动曲线。用目标设置下的小规模实验重新校准系数，并检查外推误差。

从小规模实验外推，要固定什么？

扩大模型时，需要同时验证优化器和数据配方的迁移效果。

相同数据配方

数据混合、去重、tokenizer、长度分布要一致；否则曲线移动可能来自数据。

学习率与 batch 可迁移

LR、warmup、batch/accumulation 与 μP/transfer 策略需要小规模扫描与验证。

训练 token 与 epoch 区分

D 中包含重复时，不只报告“训练了 1T tokens”，还要报告唯一 token 与实际重复。

指标与失败集一起缩放

平均 loss 平滑不代表目标能力平滑；retrieval、代码、数学、长上下文可能在不同规模翻折。

推理预算纳入选择

同一训练预算下，small dense、large dense、MoE 的总服务成本与延迟完全不同。

不确定性区间

多个规模/seed 给出拟合区间，并用未参与拟合的实验检验外推。

宽度迁移的具体证据见标准参数化与 μP 的坐标、参数组和保留宽度实验；消费 token 与更新次数的预算对照见Batch 与梯度噪声。

05 / WHERE LAWS COME FROM

Scaling Law 是怎么来的？

研究者在受控实验中测量多个规模，再用函数拟合 loss 与参数、数据和计算量的关系。

01 / GRID

设计多个规模实验

改变 N、D、compute，控制数据配方、tokenizer、训练策略与测量口径。

02 / MEASURE

记录可比的 loss

在固定 held-out 分布上测量；保存训练曲线、预算、异常 run 与优化是否充分。

03 / FIT

拟合与选型

估计幂律系数和误差项，或做 IsoFLOP 实验找同预算下的最优点。

04 / VALIDATE

保留规模做检验

用未参与拟合的较大规模验证预测，报告残差、区间与失效条件。

Kaplan 等工作研究参数、数据、计算与语言模型 loss 的幂律关系。Chinchilla 后来扩大对训练 token 分配的研究，结合固定模型规模曲线、IsoFLOP 与参数化 loss 拟合，提出在其实验范围内模型和 token 应更均衡扩展。两者实验设置、训练长度与拟合方法不同，比较结论时应保留这些实验条件。

约 20 tokens/param 的常见沟通基准可从 Chinchilla 的约 70B 参数、1.4T 训练 token 看出量级；其他规模和任务的最优比值需要重新估计。部署流量很大时，更小模型多训练一些可能降低长期成本，目标函数就从训练 FLOPs 最优改成总成本最优。

\begin{aligned} L-E&\approx A N^{-\alpha},\\ \log(L-E)&\approx\log A-\alpha\log N. \end{aligned}

把预算推导展开：为什么模型与数据要一起扩展？

假设经验拟合在当前范围内有效，A、B、α、β 都为正，训练预算采用 C=6ND。固定 C，用 D=C/(6N) 消掉一个变量：

\begin{aligned} L_C(N)&=E+A N^{-\alpha}+B\left(\frac{6N}{C}\right)^\beta,\\ \frac{\mathrm dL_C}{\mathrm dN} &=-\alpha A N^{-\alpha-1} +\beta B\left(\frac6C\right)^\beta N^{\beta-1}. \end{aligned}

\begin{aligned} \frac{\mathrm dL_C}{\mathrm dN}=0 \quad&\Longrightarrow\quad N_*^{\alpha+\beta}=\frac{\alpha A}{\beta B}\left(\frac C6\right)^\beta,\\ N_*&\propto C^{\frac{\beta}{\alpha+\beta}},\\ D_*&\propto C^{\frac{\alpha}{\alpha+\beta}}. \end{aligned}

看到的图	实际在回答	需要避免
log-log 近似直线	在已测范围内某种函数能近似描述趋势。	有限区间拟合好不证明无限外推，误差底 E 会影响斜率。
IsoFLOP 谷底	同计算预算下，哪个 N/D 组合在目标 loss 上更好。	学习率日程、欠训练或数据质量改变，也会移动谷底。
平滑 loss 曲线	平均预测误差随规模的趋势。	不能据此准确预测某项任务何时出现“能力跃迁”。离散评分与阈值也能制造突变外观。
推理时扩展曲线	固定模型上，更多采样/修订/搜索是否带来收益。	这条曲线受验证器、题目难度和相关错误影响，应与预训练 scaling 分开拟合。

工程上的用法：把 scaling fit 当预算假设。先在小规模扫描，检查残差与外推误差，再用中间规模确认。数据、架构、上下文、精度或训练目标改变后，要重新校准，并用新实验验证。

怎样验证泛化推理时预算数据配方的消融证据

NEXT / BEHAVIOR SCALING

规模提供能力底座，但偏好、推理链和工具使用怎样进入策略？

进入 RL 后训练 →

适用范围与一手资料

C≈6ND 是参数矩阵计算主导时的近似。图表展示预算关系；20 tokens/param 来自特定实验，质量预测与外推范围需要通过训练数据校准。

公式与机制的原始依据 · 3 项

Scaling Laws for Neural Language Models (2020)多规模实验中参数、数据、compute 与 held-out loss 的拟合
Training Compute-Optimal Large Language Models (2022)固定训练 compute 下 N/D 分配的实验与拟合条件
Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Model Parameters (2024)题目难度、搜索/修订与推理计算分配的实验