← 返回书架人工智能 · 交互式 Wiki
模型工程/六步学习路线资料与边界
从这里开始入门阅读导航

学习路线 / 从输入到可复现的训练

六步主线:先看一次学习,再逐层深入

先知道模型收到什么、怎样计算和更新,再用小模型的实际结果区分拟合与泛化。完成这些以后,进入稳定性、复现和资源扩展。

01—06

从一个问题走到下一份证据

先完成前四步即可建立学习闭环;第五、六步处理接续运行与扩大规模。

主线中的生成任务采用已有的四符号反转实验。各计算专题仍使用自己明确声明的小模型、维度与假设,数值不能直接跨示例拼接。

  1. 01

    输入与监督

    模型收到什么,又被要求预测什么?

    先读:先看六步训练回路,分清 token ID、向量、预测与目标。

    前置:从一个输入和预期答案开始。

    读完自检:能指出输入、监督目标和一次参数更新各是什么。

  2. 02

    模型前向

    输入怎样经过模型变成预测?

    先读:先读计算路径和一个 decoder block,再按需展开权重与结构变体。

    前置:知道 token ID、向量和目标的区别。

    读完自检:能沿 Embedding、Attention、MLP 和输出头说清张量的去向。

  3. 03

    损失与更新

    预测误差怎样改变下一次计算?

    先读:先走下一词预测的六个步骤,再比较掩码预测与对比学习。

    前置:能追踪一次前向的输入和输出。

    读完自检:能区分 loss、梯度与优化器更新,并说明 labels 和 mask 的作用。

  4. 04

    学习与泛化

    loss 下降之后,模型真的会做题了吗?

    先读:先比较同一道题训练前后的生成,再看学习曲线、独立测试与未见长度。

    前置:知道模型按监督目标更新参数。

    读完自检:能分别解释 teacher-forced loss、自由生成和长度外推的结果。

  5. 05

    稳定与复现

    怎样让一次训练能够被检查和接续?

    先读:先看 checkpoint 包含什么,再对照完整恢复和遗漏状态后的轨迹。

    前置:能区分学习结果和计算核验。

    读完自检:能解释为什么权重、优化器、随机状态和数据位置需要一起保存。

  6. 06

    系统与扩展

    规模扩大后,计算、显存和通信怎样配合?

    先读:先看训练 step、token 预算和显存账本,再按瓶颈进入并行与性能专题。

    前置:能追踪一次更新,也知道如何保存和核验它。

    读完自检:能区分数据并行副本、协作分片、显存占用和实际等待。

五个可运行实战,按当前问题选一项

读过小模型实验后,选择诊断、项目、复现、性能或检索;不必依次完成。每项都提供原始报告、源码与复现说明。

已有具体问题?从实测里找参考

按需展开,查看完整来源、运行条件与独立重跑命令。

按症状找实测 · 13 组完整来源

先找与你的现象相近的问题,再看参考对象和结论边界。这里的“组”按来源登记;同一组可包含多个实验与页面。

训练集学会了,换组合或加长输入还会吗?

对照什么
分别检查训练拟合、独立组合与长度外推的自由生成。
能说明到哪
四符号反转任务;训练 loss、训练拟合与外推能力分别判断。
独立重跑条件
PyTorch CPU 环境;会重新训练三个 seed。
下载来源与独立重跑 · 11.6 MiB

Loss 不降或突然异常,怎样定位第一处变化?

对照什么
固定 checkpoint 与输入,比较故障、参考和受控修复。
能说明到哪
验证所注入故障的因果链;实际事故仍需观测证据。
独立重跑条件
PyTorch CPU 环境;执行受控故障与修复回放。
下载来源与独立重跑 · 33.3 MiB

加深、加宽或改 Batch 后,训练为什么变了?

对照什么
分别查看深度与残差、宽度迁移、梯度噪声和 Batch 训练对照。
能说明到哪
宽度 MLP 与反转任务分别建模,各自的数值不能直接拼接。
独立重跑条件
PyTorch CPU 环境,另需固定版本 μP 与 PyYAML;包含训练。
下载来源与独立重跑 · 68.3 MiB

分块输出层省了什么,梯度和耗时怎样核验?

对照什么
以完整输出投影为参考,核对精确交叉熵、参数梯度与保存引用。
能说明到哪
CPU 测量与逻辑存储分别报告;不能据此推算 GPU 加速比。
独立重跑条件
PyTorch CPU 环境;执行数值对照与计时。
下载来源与独立重跑 · 1.3 MiB

怎样把诊断、文本训练、复现与性能连成项目?

对照什么
四项实战共用一个证据包,保留固定语料、权重与逐步记录。
能说明到哪
这是四项实战的来源组;玩具模型的生成质量需看原始样例。
独立重跑条件
PyTorch CPU 环境与仓库内固定语料;会重新训练。
下载来源与独立重跑 · 63.4 MiB

语言模型的测试 Loss,超过简单统计基线了吗?

对照什么
在同一文档划分与 tokenizer 下,对照词频和相邻统计基线。
能说明到哪
基线优势取决于语料与评价口径;生成连贯性需另行检查。
独立重跑条件
PyTorch CPU 环境;读取已保存的文本项目来源。
下载来源与独立重跑 · 0.2 MiB

长序列改善来自长度支持,还是多训练了 Token?

对照什么
固定监督 token 预算,比较训练长度支持与逐 seed 结果。
能说明到哪
监督预算相同不等于更新步、计算耗时和优化轨迹相同。
独立重跑条件
PyTorch CPU 环境;重新执行长度支持训练对照。
下载来源与独立重跑 · 8.0 MiB

向量近邻找对了,任务所需的证据也找到了吗?

对照什么
固定中文文档、问题与 BGE 权重,对照 BM25、Flat、IVF 和候选内重排。
能说明到哪
指定证据命中与向量近邻召回是两种指标;重排受候选覆盖限制。
独立重跑条件
独立检索环境(Faiss、Transformers 等)及仓库固定 BGE 权重;不会自动下载。
下载来源与独立重跑 · 59.2 MiB

混合召回的提升,能排除候选覆盖和评估波动吗?

对照什么
检查候选并集与重排,并按来源组做配对比较。
能说明到哪
保留问题集合与来源分组;评估不确定性不等于线上收益保证。
独立重跑条件
PyTorch CPU 环境;读取固定检索逐题结果。
下载来源与独立重跑 · 0.5 MiB

总体文本 Loss 掩盖了哪些文档与窗口的差异?

对照什么
固定文本权重,回到逐文档、窗口和监督 token 的加权账本。
能说明到哪
保持原拆分与权重,不用测试文档继续挑选训练配置。
独立重跑条件
PyTorch CPU 环境;读取固定文本项目与 checkpoint。
下载来源与独立重跑 · 11.2 MiB

梯度累积或 DDP 后,为什么更新不再一致?

对照什么
以合并 batch 为参考,核对监督分母、梯度、裁剪、优化器状态与更新。
能说明到哪
CPU 双进程 Gloo 的正确性对照;未测多机 GPU 通信性能。
独立重跑条件
PyTorch CPU 环境;需要允许本地双进程 Gloo 通信。
下载来源与独立重跑 · 73.6 MiB

过滤来源后,为什么检索返回不足或缺少可用证据?

对照什么
固定真实向量,比较过滤前后候选深度、可用来源与任务证据。
能说明到哪
使用已保存向量;来源过滤与权限授权仍需分别设计。
独立重跑条件
NumPy CPU 环境与固定检索输入;本组计算不依赖 PyTorch。
下载来源与独立重跑 · 2.5 MiB

Padding 或 KV Cache 后,同一个请求的输出为什么变了?

对照什么
以未填充单请求为参考,核对逻辑位置、下一位置 logits 与缓存续算。
能说明到哪
固定文本模型的数值一致性;未测服务吞吐或 GPU 加速。
独立重跑条件
PyTorch CPU 环境;读取固定文本 checkpoint,无需重新训练。
下载来源与独立重跑 · 27.4 MiB

先阅读原始报告即可核验展示结果;重跑需要仓库、固定输入和对应依赖环境。CPU 时间只描述报告所记环境,独立重跑结果需另行核验与采纳。

按你的任务继续走

主线之后,选择当前任务需要的分支;各专题也可以直接查阅。

什么时候需要再深入一层?

要推清一条梯度

先读 损失与梯度,再用 整层反传核验。矩阵乘法、softmax 和链式法则在这里开始成为前置。

已有异常时,直接进入 问题雷达;想定位知识缺口,可以先做 综合自测。已有基础可按问题选读近期公开训练技术,逐项核对机制与披露范围。页面上的“入门 / 进阶”表示建议阅读深度,“计算演示 / 实测报告”说明结果的呈现方式。

适用范围与一手资料

本页组织学习路径,并按症状索引已登记的实测来源。每项结论以所属页面、固定报告和声明边界为准;输入条件与任务不同的数值不能直接比较。

公式与机制的原始依据 · 3 项
知识目录
搜索知识库