本页章节
01 / REPRESENTATION HISTORY
表示方法的演化：目标怎样塑造向量
从“给词编一个唯一编号”，到“用共现/上下文学习坐标”，再到“直接训练 query 与文档的几何”。 训练目标逐渐围绕下游任务定义：哪些样本应靠近，哪些差异要保留。
表示演化的七个阶段
点击一个阶段。重点看训练目标、解决的问题和适用范围。
离散符号表示
词是原子符号，词典很大但几乎全零
每个词占词表的一个位置。one-hot 可以表示“是哪个词”，却没有内建的相似性；两个不同词的向量点积总是 0。
没有从语境学习表示的目标
唯一标识、可做规则和统计
无法泛化到没见过的词，也无法表达近义关系
先从“符号是否相同”转向“统计上是否共同出现”。
one-hot 到 embedding：
高维稀疏变成低维稠密
两种写法在实现上可以等价：查表就是取 one-hot 矩阵乘法里唯一非零项对应的行。
“负样本”在 50,000 维里只有 1 个 1，99.998% 是 0。它能标识身份，却不能告诉模型“负样本”和“正样本”有关系。
每一维都没有固定的“句法/语义”标签。意义存在于整行参数的组合，以及它与其他向量的相对位置。
工程实现：输入是整数 ID，查表用 E[token_id] 或 gather。前向看起来像“查一行”，反向时却会把梯度累加回这一行；同一个 token 在一个 batch 出现多次，梯度也会累加。
训练目标，画出不同的邻居关系
下面是一个二维投影示意，不是模型真实坐标。看同一批点如何因为“相似”的含义不同而改变分组。
目标不同，几何不同
上下文分布塑造词表示
Skip-gram 提高真实搭配的输入词—输出上下文得分，不保证两个输入词向量直接靠近。静态“苹果”会混合水果与公司语境，各义项的影响取决于语料与采样；下图仅示意这些语境。
分析向量几何时，先看正样本如何构造、负样本如何选择，再结合维度和模型结构判断。
优化 embedding 的八个方面
这里的“优化”不只是调超参数，更包括重新定义表示单位、目标和监督数据。
-
01
目标函数
先对齐任务，再谈模型
语义相似、可回答、分类可分、跨语言对齐是不同目标。一个模型在 MTEB 高，不代表你的“政策问答检索”一定好。
-
02
不变性
定义要保留和要忽略的差异
同义改写应靠近；时间、否定、数字、实体名可能必须保留以免误召回。对比训练是在学习“哪些差异不重要”。
-
03
对比学习
负样本的质量与难度
随机负样本通常易区分，难负样本促使模型抓细节。“相关但不能回答”是否算负例取决于任务：答案检索与主题检索的标准不同。先排除漏标正例，再增加难度。
-
04
几何
距离度量与训练目标要一致
若模型按归一化点积训练，评估时用余弦通常更自然。取出向量后随意再标准化、截断或不标准化，可能改变排序。
-
05
数据单位
块边界也是表示的一部分
长文档切成 100 字还是 1,000 字，会改变“一个点代表什么”。块太小丢上下文，太大混入无关内容；元数据和标题常需要一起编码。
-
06
成本
维度的容量与成本
维度提供表达容量，但需要数据、算力与检索内存。更高维可能更好，也可能只是扩大索引成本和过拟合空间；先用任务实验验证。
-
07
系统设计
先召回，再精排
bi-encoder 适合预编码海量文档；cross-encoder 更善于细看 query 与候选的交互。工程上通常不要求一个 embedding 完成全部判断。
-
08
评估
评估集必须来自真实分布
看 Recall@k、MRR、聚类纯度、分类 F1 和人工相关性的排序；同时监控领域漂移、长尾、语言混杂以及索引更新后的退化。
按表示单位选择模型
先选表示单位。下面列出常见选择，最终以目标任务上的测试结果为准。
选择起点
固定词向量：fastText 或领域词向量
只有词级相似性、拼写/形态很重要时，子词模型仍有价值。若下游是句级语义，可优先测试句编码器，并与词向量平均的基线比较。
适合：词典扩展、词聚类、轻量近邻适用范围与一手资料
历史按代表性训练目标组织，选型建议用于确定评估起点。语境坐标是预设示意；直接共现、训练得分与欧氏距离需分开解释。模型选择需结合任务样本、质量与成本。
公式与机制的原始依据 · 6 项
- Deerwester et al. · Indexing by Latent Semantic Analysis (1990)词—文档矩阵的低秩 SVD；直接共现与词向量相近不是等价命题
- Distributed Representations of Words and Phrases (2013, v1)2026-10-29 核对第 2 节：输入/输出表示、完整 softmax、树路径与负采样分别产生不同的梯度覆盖
- GloVe (2014)概率比动机与 log 共现次数的加权最小二乘目标
- BERT (2018)MLM 的 15% 位置与 80/10/10 替换规则
- SimCSE (2021)dropout 正对、监督 NLI 正对与对比学习
- Sentence Transformers · Cross-Encoders2026-10-29 核对逐对联合编码、批量预测与独立句向量接口的区别；文中性能示例不构成所有任务的优越性保证