模型能力与应用入门阅读导航
本页章节
FRONTIER / DECISIONS
模型能力与应用:从具体问题选读
从自回归、扩散与 CoT,到多模态、工具、教师、合成数据和量化。 每条路径连接结构、训练信号、运行成本与证据,帮助你判断一种改进实际改变了什么。
P0 / DECISION LAYER
从生成机制到可验证的能力
先读自回归与扩散,再读 CoT 与训练信号;工程问题沿数据、评估和服务分支继续。
01 / GENERATION
自回归、扩散、潜在空间分别改变什么?
概率分解、teacher forcing、去噪训练、Flow Matching、JEPA 与生成状态。
02 / REASONINGCoT、Thinking 与 J-space
可见推理、内部表示、CoT 监督、验证器与推理时计算。
03 / TEACHERSTeacher 怎么教,学生学到什么?
软标签、学生轨迹、前缀分布、合成数据与能力保留。
04 / MULTIMODAL图片、音频、视频怎样进入模型?
视觉接口、联合训练、Thinker/Talker 与流式队列。
05 / AGENTS从生成回答到完成任务
工具轨迹、记忆压缩、约束保留、冲突与状态恢复。
06 / EFFICIENCY量化与投机解码
数值误差、校准、低位权重与 KV、草稿验收和性能边界。
07 / SCALING参数、数据与推理预算如何分配?
经验规律来自哪些实验,N/D 分配、Chinchilla 比例边界与外推。
08 / RL POST-TRAINING奖励怎样通过 PPO、GRPO 等算法更新策略?
组内信号、探索、长度、异步 rollout、策略陈旧度与奖励漏洞。
09 / MODEL CASES现代模型由哪些结构拼起来?
从标准结构到跨层 KV 复用,按公开版本核对参数、存储与计算路径。
10 / FINETUNING“一万条数据微调”实际做了什么?
样本、监督位置、packing、更新次数、LoRA 和数据学习曲线。
11 / RELIABILITY完整任务怎样测出可靠性?
重复执行、环境状态、运行系统、判分器混淆与偏差。
OPTIONAL / RESEARCH
研究选读:机制假设与实验证据
训练是否有效,最终回到证据:训练、验证、泛化与发布标准;实际数据清洗流程。比较前先选同 compute、同延迟或同质量等口径,说明没控制的差异。
适用范围与一手资料
本页按研究问题导航。预算、RL 与模型案例页分别介绍机制、实验结论和适用条件,具名研究附版本及一手资料。
公式与机制的原始依据 · 3 项
- Training Compute-Optimal Large Language Models (2022)固定训练 compute 下 N/D 分配的实验与拟合条件
- DeepSeekMath (2024)GRPO 的组内基线、优势与去 critic 设计
- DeepSeek-V3 Technical Report (2024)MLA、共享/路由专家与训练系统的具体版本