← 返回书架人工智能 · 交互式 Wiki

模型能力与应用进阶专题讲解

MODERN AI / GENERATION

自回归、扩散与潜在空间

Transformer 描述网络怎样计算；自回归和扩散描述怎样定义生成分布与学习目标。相同骨干可以服务不同目标，token 也不一定代表文字。

01 / AUTOREGRESSION

自回归做了什么：把联合分布拆成条件预测

\begin{aligned} p_\theta(x_{1:T})&=\prod_{t=1}^{T}p_\theta(x_t\mid x_{<t}),\\ \mathcal L_{\mathrm{AR}}&=-\sum_{t=1}^{T}\log p_\theta(x_t\mid x_{<t}). \end{aligned}

概率链式分解本身是恒等式。工程选择是用同一模型近似每个条件分布，并以因果 mask 阻止位置偷看将要预测的 token。每个位置的 hidden state 投到词表 logits，softmax 给下一 token 分布。多层网络将可见上下文组织成特征，用于估计这个条件分布。

训练可以并行，采样通常串行。训练已知真实序列，用 teacher forcing 一次计算各位置，但因果 mask 仍在。生成时未知后续 token，只能先采样一个，再把它作为下一轮输入。teacher forcing 指训练时使用真实前缀；teacher model 则指提供监督信号的模型。

训练前缀来自数据，生成前缀包含模型自己的错误，这种分布差异会使偏差累积。自生成轨迹训练、搜索与验证可以用于研究这类偏差，各自效果需要单独评估。KV Cache 复用过去位置的状态，减少重复计算，并不取消这种条件依赖。

02 / STATE TRANSITIONS

两种生成过程：追加一个位置，或修改一组位置

生成状态对照

文本和状态顺序均为预设，用于展示两种生成过程的依赖关系。离散去噪算法的揭示/重遮策略不统一；不能由这里的步数推出速度比。

CASE / MULTI-TOKEN OBJECTIVE

MTP 训练：多个未来标签怎样共同更新骨干？

一种 MTP（Multi-Token Prediction）设定让同一个可见前缀产生多个偏移的预测。Meta 的 2024 年论文使用共享 Transformer 骨干、独立预测头和共享词表投影；不同头的损失都能沿共享计算回传。下面将它缩成标量骨干与两个线性头，只检查标签、归约和梯度，不复现论文架构。

固定记录为 [0,1,1,0]。位置 t 的输入只读到 t；第 k 个头监督 t+k，越过记录尾部或跨到另一条记录的标签不计入该头。多轮对话还要逐偏移核对目标位置的 assistant mask，不能直接照搬偏移 1 的标签数组。

读到的位置 t	可见前缀	偏移 1 的标签	偏移 2 的标签
0	0	1	1
1	0 / 1	1	0
2	0 / 1 / 1	0	不计
3	0 / 1 / 1 / 0	不计	不计

\begin{aligned}h_t&=\theta e(x_t),\qquad z_t^{(k)}=w_kh_t,\\\overline\ell_k&=\frac1{n_k}\sum_{t\in\mathcal T_k}\mathrm{CE}(z_t^{(k)},x_{t+k}),\\\mathcal L&=\sum_{k=1}^{K}\lambda_k\overline\ell_k,\qquad\partial_\theta\mathcal L=\sum_k\lambda_k\partial_\theta\overline\ell_k.\end{aligned}

取 e(0)=−1、e(1)=1，θ=0.5；两个词表大小为 2 的线性头分别为 w₁=[0.8,−0.3]、w₂=[−0.4,0.7]，λ=[1,0.5]。这个骨干只读取当前位置的固定嵌入，没有 Attention 或 Transformer。

目标项	有效偏移—位置对	加权损失项	对 θ 的加权梯度
偏移 1	3	0.638826	−0.035784
偏移 2	2	0.502746	0.348775
合计	5	1.141572	0.312990

这里的 5 是监督对的总数，不是 5 个不同 token。两个头对共享 θ 的贡献方向相反；改变辅助权重会改变合成梯度。对 θ 和两个头共 5 个参数同时做一次 η=0.05 的 SGD，损失变为 1.134281；脚本核对全部参数的有限差分及这次更新，不检验语言能力收益。

多步预测为什么还需要序列验收？

在固定前缀后，若真实的两 token 联合分布只含 00 和 11，各占 0.5，那么两个正确的 [0.5,0.5] 边缘分布若独立采样，仍会给 01 与 10 合计 0.5 的概率。多步标签监督不自动保证联合一致性；草稿的条件、提出方式和验收协议仍需明确。

来源：Meta：Better & Faster Large Language Models via Multi-token Prediction，v1（2024-04-30），第 2 节。论文还说明了逐头计算与骨干梯度累积；这里的线性头、权重及归约均为本站教学设定，不移用作者的质量或速度结论。

离线重算 MTP、草稿蒸馏和 WSD 平均

固定输入、原始梯度和更新轨迹随代码保存。在仓库根目录执行：

node artifacts/mtp-wsd-20261030T061842Z/check-mechanisms.mjs

冻结骨干后的 MTP boosting 记录边界与监督位置交叉熵与共享参数梯度

03 / DIFFUSION

扩散：训练时制造噪声，生成时逐步恢复

01 / CLEAN DATA

取干净样本 x₀

可以是像素，也可以是图像编码器压缩出的 latent；先明确数据空间。

02 / CORRUPT

抽时间 t 和噪声 ε

按已知日程构造 xₜ，模型同时接收 t 与文本等条件 c。

03 / PREDICT

学习去噪目标

预测噪声、干净数据、score 或其他参数化；目标决定损失与采样公式。

04 / SAMPLE

从噪声开始迭代

用学到的预测和求解器逐步更新状态，最后解码成图像或其他输出。

\begin{aligned} x_t&=\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\\ \epsilon&\sim\mathcal N(0,I),\\ \mathcal L_{\mathrm{simple}} &=\mathbb E_{x_0,t,\epsilon}\!\left[\lVert\epsilon-\epsilon_\theta(x_t,t,c)\rVert_2^2\right]. \end{aligned}

训练无需每条样本完整跑一次去噪链：可直接随机抽 t 构造带噪输入。采样才要执行多个状态更新；具体步数和日程由采样器决定。上式采用常见的简化噪声预测目标；其他配方可能使用不同权重或参数化。

DiT 用 Transformer 构建去噪网络：Transformer 提供网络骨干，扩散定义训练目标与采样过程。潜在扩散把去噪放在压缩后的连续表示中，减少计算，但编码器重建能力与压缩也会限制细节。

路线	训练对象	推理状态	需要核对
连续扩散	已知噪声过程上的去噪/score 估计。	连续 xₜ 按反向过程或求解器更新。	噪声日程、预测参数化、条件引导、采样步数。
Flow Matching	为噪声到数据的概率路径学习速度场 vθ(x,t)。	解 ODE 等动力系统，从初始分布输送到目标分布。	路径、时间参数与求解器；与扩散有联系，但不能直接混用损失公式。
离散扩散语言模型	按遮罩/离散破坏过程恢复 token，例如 masked diffusion。	多个待恢复位置可并行预测，也可按块推进。	位置何时确定、是否重遮、训练权重、缓存可否复用；离散破坏过程需与 token 表示匹配。
自回归语言模型	真实前缀上的下一 token 交叉熵。	确定前缀逐步增长，标准生成可复用 KV。	停止规则、采样温度、上下文与 KV、长程错误累积。

比较生成速度时：要比较每步实际工作量、总步数、缓存、长度、batch 和质量目标。扩散若每轮重算整段序列，也有成本；自回归可通过投机解码一次验证多个位置。必须在相同任务和硬件协议下比较。

04 / LATENT REPRESENTATIONS

Latent space、JEPA 与 J-space 分别指什么？

潜在空间：模型的内部表示

hidden state、VAE latent、句向量都属于潜在表示。理解一种表示，要看它怎样从输入得到、用什么目标训练，以及后续模块怎样使用它。

JEPA：在表示空间里做预测

上下文编码器和 predictor 根据可见区域，预测缺失区域的表示。I-JEPA 将这个目标用于图像；目标分支通常采用 stop-gradient、EMA 等设计，训练还要处理表示坍缩。

J-space：与概念相关的激活模式

Anthropic 把研究中识别出的一组内部激活模式称为 J-space。这些模式与特定概念有关。CoT 专题介绍了它们的识别方法、干预实验和研究结论。

潜在推理：让连续状态参与下一步计算

模型把中间连续状态反馈到后续步骤，在内部迭代计算。训练目标、状态更新方式和停止策略决定这套过程怎样运行；实验要比较计算成本和新任务上的表现。

CoT、J-space 与内部表示多模态输入与输出自回归的 KV 账本

适用范围与一手资料

生成交互采用预设状态；扩散公式有各自参数化。新增 MTP 为标量因果骨干、固定嵌入和两个线性头，只核验偏移标签、各头均值、5 参数梯度与一次 SGD；无 Transformer 或语言能力评估。

公式与机制的原始依据 · 7 项

Attention Is All You Need (2017)Q/K/V、缩放点积、残差与原始 encoder-decoder
Denoising Diffusion Probabilistic Models (2020)前向加噪、反向去噪与简化噪声预测目标
Flow Matching for Generative Modeling (2022)概率路径与条件速度场训练
Large Language Diffusion Models (2025)离散 masked diffusion 语言建模与采样
I-JEPA (2023)联合嵌入预测架构中的目标区域表示，区别于像素重建
Anthropic · A global workspace in language models (2026-07-06)J-space 的识别方法，以及模型报告、调控和干预内部表示的实验
Meta · Multi-token Prediction (2024-04-30, v1)第 2 节：共享骨干、独立 Transformer 头、共享词表投影与逐头梯度累积；本站线性双头只是标签/归约教具