模型怎样学习：从输入走到一次更新

先给定输入和要预测的答案。输入经 tokenizer 得到 token ID，模型把它变成向量和预测，再根据监督位置计算损失、更新参数。更新是否有效，还需要看新的输入和实际生成结果。

ONE TRANSITION / 一个关键转换

符号先变成 ID，再查成向量

前向传播

内容符号 A B C [4, 5, 6]

Embedding 表 E · 查表示意 V × d

token 00.02-0.110.070.13

token 4 · A0.34-0.280.810.05取这一行

token 5 · B-0.080.190.03-0.22

……………

这里只展示四个分量，数值为概念示意；实测模型的参数与维度在学习实验中单独说明。

离散输入 x = E[token_id] 连续向量

THE FULL LOOP

点每一步，看看实际进入计算的对象和形状。

原始材料

分词器先按照自己的词表，把文本切成 token；中文可能切成字、子词或多字词，取决于 tokenizer。

进入模型字符串 / 字节

关键动作tokenize

下一站整数 ID

贯穿案例：给定内容 A B C，希望模型生成 C B A EOS。完整输入还包含 BOS、SEP 等控制符号，学习实验会说明它们怎样形成监督。本页先把输入、预测、损失和更新连接起来。

REPRESENTATION LEVELS

三种表示对应不同的计算阶段，表示单位和使用方式各有区别。

静态查表表示

Word2Vec、GloVe 和 LLM 的输入 embedding 表都是这样：词表是 V 行，每行是 d 维参数，查表等价于 one-hot 乘矩阵。区别在于 LLM 之后还会经过上下文层，形成随输入语境变化的隐藏状态。

YOUR ROUTE

主线的下一步是模型前向；已有具体目标时，也可以直接选择对应专题。

KEEP THESE THREE

查表向量只是输入的一站。模型还会结合上下文形成隐藏状态，再通过输出头得到预测；下一步沿这些张量看一次前向。

语言模型对有效监督位置计算交叉熵，检索模型可以用正负样本构造对比目标。需要先明确目标、分母和参与计算的位置。

训练 loss 下降以后，还要检查自由生成、独立输入和未见长度。小模型实验会展示拟合成功与长度外推失败同时出现的实际结果。

本页建立输入、目标、损失、更新的关系。二维坐标是教学示意；上下文状态、token 表和检索句向量是不同对象。

公式与机制的原始依据 · 3 项