Glen Li's Gallery
站点导航
模型工程 WIKI
← 返回书架人工智能 · 交互式 Wiki
模型工程/公开模型案例资料与边界
模型结构进阶专题讲解

FRONTIER 03 / MODEL CASES

公开模型案例：结构选择与工程取舍

用几张代表性的卡，把 Encoder/Decoder、MHA/GQA、位置编码、Norm、SwiGLU、MoE、MLA、总参数与激活参数放在一起。 通过这些案例练习阅读模型配置，并分析各项选择的代价。

01

七个结构样本

选一个模型，重点看它为什么采用这些结构，以及哪种成本被转移到了别处。

ENCODER-ONLY / MASKED LM

BERT-base-uncased：双向 encoder + post-LN

用 masked LM 学习双向上下文。它输出每个 token 的上下文状态，采用双向上下文接口。

参数110M
结构Encoder-only
d / L768 / 12
heads / KV12 / 12 · MHA
FFN / vocab3072 / 30,522
位置Learned absolute
NormPost-LN
激活GELU
上下文512 tokens
为什么值得看

双向 attention 让每个位置同时看左右文本，适合理解与 masked 目标；其可见上下文与 GPT 式因果生成不同。

容易被忽略

用于句向量时，需要按任务选择和训练 pooling 或输出头。

02

案例横向比较

把“参数变大”与“单 token 激活变大/不变”分开看。

模型类型Attention / KV位置 / Norm容量主要代价
BERT-baseEncoder双向 MHAAbsolute / Post-LNDense 110M不能直接因果生成
LLaMA 2 7BDecoderMHA 32 KVRoPE / Pre-RMSNormDense 约 6.7BKV 较大
Llama 3 8BDecoderGQA 8 KVRoPE / Pre-RMSNormDense 约 8B更大词表与权重
Mistral 7BDecoderGQA 8 KV + windowRoPE / Pre-RMSNormDense 约 7.2B局部窗口与全局能力权衡
Mixtral 8×7BMoE DecoderGQA 8 KVRoPE / Pre-RMSNorm总 46.7B / 激活 12.9B专家显存、all-to-all
DeepSeek-V2/V3MoE DecoderMLA + 细粒度 MoERoPE 相关 / RMSNorm 类V2 约 236B/21B；V3 约 671B/37B复杂路由、潜在 KV 重建
MambaSSM无标准 attention KV状态递推取决于具体规模长程检索与生态差异
03

从案例里能总结出什么

这些组合在公开模型中较常见，具体选择仍取决于任务和资源。

01

现代 decoder 常见配方

Pre-RMSNorm + RoPE + SwiGLU + causal attention；具体 heads/KV、窗口和 MoE 是进一步的资源选择。

02

GQA 主要解决推理缓存

LLaMA 2 7B 用 MHA，70B 已用 GQA；Llama 3 8B 也采用 GQA。需按具体尺寸比较 KV heads，各尺寸的采用时间和配置分别记录。

03

MoE 让总参数和激活参数脱钩

Mixtral 和 DeepSeek 都利用稀疏专家扩容，但都保留完整专家内存与复杂路由成本。

04

长上下文需要多项设计协同

RoPE、窗口、MLA、KV cache、context parallel 与训练数据必须协同；远端信息的使用能力需要专门测试。

05

MLA 是新的 KV 压缩轴

MLA 学习压缩的潜在表示，并在 attention 计算中使用相应投影；缓存内容和执行方式需查看具体实现。

06

SSM 通过状态递推处理序列

Mamba 用状态递推替代标准 attention；可以混合，也可以独立，但质量、硬件和工具生态都要另行验证。

GDN / KDA：循环状态与分块训练Gated Attention：输出门与 KV 边界AttnRes：深度来源与两种分块
04 / VERSIONED CASE · 2026-09

长输入案例：跨层复用、稀疏访问与低位缓存怎样配合？

DeepSeek-V4.1-Flash 的 2026-09-17 技术报告把长任务的输入处理、全局 KV 存储和跨设备搬运作为设计重点。下面按该版本展开结构；数字来自作者报告，未在本站实测。

项目报告配置 / 定义阅读时要区分
层与计算路径40 个因果 Transformer 层：20 层 causal encoder + 20 层 decoder。decoder 全局 KV 从 encoder 输出构造，多数 prompt token 可绕过完整 decoder 计算；局部 SWA 状态仍需维护或重建。
参数552B backbone，另有 196B Engram 参数；报告 prefill/decode 每 token 激活量为 8B/16B。backbone 与额外条件记忆分别统计；激活量与实际 FLOPs、访存量各自有口径。
全局注意力CSA2：压缩表示、稀疏索引、跨层 KV 与索引复用。表示压缩、访问选择、跨层共享分别作用于不同维度。
全局 KV 精度训练中使用 FP4 全局 KV；报告长上下文每 token 全局 KV 约 890 bytes。这是全局分支的口径，不能直接当作整个请求的全部显存。
持久缓存SWA Bounded Replay 用有限局部重算近似恢复 SWA 状态。少存局部 KV 要支付重算成本，且近似恢复需质量回归；HBM 与主存/SSD 分开记账。

Full

生成 global KV重新索引本层 Q / SWA

创建全局 KV 和 indexer K，通过索引选取访问位置。

Reindex

共享 global KV重新索引本层 Q / SWA

读取前面层的全局 KV，以本层 indexer Q 重新评分，得到新的 Top-K 位置。

Reuse

共享 global KV共享 Top-K本层 Q / SWA

复用全局 KV 和选择位置，本层仍有自己的查询与局部状态。

这三种模式在架构中静态安排；共享的是指定状态，不是把每一层的计算结果变成相同内容。

MKV≈Mglobal shared(S)+∑ℓ=1LMlocal,ℓ(W)+Mindex/metaM_{\mathrm{KV}}\approx M_{\mathrm{global\ shared}}(S)+\sum_{\ell=1}^{L}M_{\mathrm{local},\ell}(W)+M_{\mathrm{index/meta}}
分项账本而非该模型的精确计算器。S 为序列长度，W 为局部窗口；压缩比、共享层组、索引存储和精度分别影响各项，workspace 与模型权重另算。

结构变化会改写成本公式

普通 MHA/GQA 中“层数 × 长度 × KV head 数”的账本假设各层独立保存完整历史。跨层共享、压缩全局状态与固定局部窗口需要按存储对象重新推导。

输入与输出成本开始分开设计

长任务常重复提交很长的输入，新增输出较短。该案例调整 prefill 与 decode 的路径；比较时还要固定命中缓存比例、输入输出长度、并发和质量目标。

条件记忆是另一类容量

Engram 使用稀疏访问的条件记忆模块。它属于模型结构中的参数容量；与 Agent 文件记忆的写入、检索和权限机制需分别理解。

骨干、残差与草稿各有作用

报告还采用 Single-Pass mHC 的残差混合实现，以及在骨干预训练后单独训练的 DSpark 草稿模块。草稿验收依赖推理流程；残差混合改变层间信息组合，不能仅用 KV 压缩解释这些部件。

本节绑定 2026-09-17 架构报告。10 月 17 日发布说明另提到的 Self-Feedback RL 属于后训练更新，具体奖励和优化细节需按该版本的公开材料另行核对。

长上下文训练与评估标准 KV 账本DSpark 验收预算与训练阶段联合多模态训练分模态的 MoE 负载控制Single-Pass 的系数依赖
CASE / LEARNING A LOOKUP TABLE

Engram：地址由 token 决定，查到的参数怎样学习？

Engram 将局部 N-gram 映射到可训练的记忆表，再用当前 hidden state 对查到的内容做门控。确定的是地址计算；表中向量仍随训练更新，实际贡献也依赖上下文。它是模型参数容量的一部分，读取、梯度与优化器状态需要分别核对。

固定两张小表，把查找与门控分开

教学 token 序列为 [1,2,1,2]，只用相邻 2-gram。两个地址函数为 h₀(a,b)=(3a+b) mod 5、h₁(a,b)=(a+2b) mod 7；表 E₀=[0.1,−0.2,0.3,−0.4,0.5]，E₁=[0.2,0.4,−0.1,0.3,−0.5,0.6,0.7]。每张表查一个标量，再拼成二维记忆 m。首位置不足两个 token，约定不查表。

xt=[st/10, ∑j≤tsj/10],mt=[E0[h0],E1[h1]],αt=σ(xt⊤mt/2),yt=xt+αtmt.\begin{aligned} x_t&=\left[s_t/10,\ \sum_{j\le t}s_j/10\right],\qquad m_t=[E_0[h_0],E_1[h_1]],\\ \alpha_t&=\sigma(x_t^\top m_t/\sqrt2),\qquad y_t=x_t+\alpha_tm_t . \end{aligned}
s 是人工 token ID；x 是只读当前前缀的固定特征，不是 Transformer hidden state。这里省略 tokenizer 压缩、乘法/XOR hash、K/V 投影、RMSNorm、卷积与多分支集成；门控公式也采用上述教学简化。
位置2-gram两张表的地址门控 α记忆残差 αm
0—不读表0.0000000.000000 / 0.000000
11 / 20 / 50.5352970.053530 / 0.321178
22 / 12 / 40.4699840.140995 / −0.234992
31 / 20 / 50.5667740.056677 / 0.340064

位置 1 和 3 查到同一组参数，前缀特征不同，门控与残差也不同。修改后缀为 [1,2,9,8] 时，前两个位置的计算保持不变；脚本核验这个因果边界。

重复地址的梯度要相加，不能按最后一次命中覆盖

固定上游梯度为 [[0,0],[0.2,−0.1],[−0.3,0.4],[0.5,0.2]]，定义线性读出 L=Σₜuₜᵀyₜ。对记忆分量既有直接值路径，也有经 α 的门控路径；同一表行累积所有命中位置的贡献。

表行命中位置各位置梯度贡献累计梯度
E0[0]1 / 30.105652 + 0.2892900.394942
E0[2]2−0.146103−0.146103
E1[4]20.1675610.167561
E1[5]1 / 3−0.055640 + 0.1310640.075424

全部 12 个表参数都经过有限差分核对，包括未命中的零梯度行。无动量、无权重衰减的一次 η=0.1 SGD 后，固定读出由 0.298644 变为 0.277604；这不是知识或语言能力评测。换用有历史状态的优化器后，当前零梯度不再自动意味着零更新，见矩阵更新例。

多头 hash 缓解冲突，不保证每个 N-gram 都有独占参数
2-gram两个地址
1 / 20 / 5
2 / 40 / 3
3 / 10 / 5

第二行只在一张表上碰撞，第三行两张表都碰撞。相同地址共享实际参数，其梯度在同一行汇合；上下文门控提供额外区分，但不能据此保证冲突无害。本例 hash 故意简单，不复现官方 multiplicative-XOR 实现。

原始 Engram 与后续模型的版本分别读

Engram 原论文 v1（2026-01-12）第 2.2–2.5 节包含 tokenizer 压缩、多头 hash、RMSNorm 后的 K/Q 门控及短因果卷积，并区分训练时分片查表与推理预取。V4.1-Flash v1（2026-09-17）第 2.4.2、2.5 节说明省略短卷积，并使用动量加 Sinkhorn 均衡更新表参数；这些变体不合并成一个未标版本的配方。

本站仅重算小表、门控与梯度，没有训练 Engram 模型、运行 All-to-All、FP8 查表、主存/RDMA 预取或测量端到端收益。实际系统还要记录表/Tokenizer 版本、重复 ID 的归并与分片、优化器状态和传输成本。

离线重算本轮三个机制

在仓库根目录执行；固定输入、逐行梯度、更新中间值和完整调度事件均随代码保存。

python3 artifacts/lookup-updates-overlap-20261030T074358Z/check-mechanisms.py
逐头方向与表参数的 L2 均衡更新计算和通信的依赖与占用保存参数之外的训练状态
05

拿到一个新模型，按什么顺序读？

按这个顺序可以逐项核对新模型的结构、成本和评估条件。

01Type / objective

Encoder、decoder、encoder-decoder？因果生成还是双向理解？

02d / L / heads

形状、层数、Q heads、KV heads、head dim、FFN width。

03Norm / activation

Pre/Post、LayerNorm/RMSNorm、GELU/SwiGLU。

04Position / context

RoPE 频率、相对 bias、窗口、context extension。

05Capacity structure

Dense 或 MoE、总参数、每 token 激活与路由。

06Inference / evaluation

KV 大小、context、prefill/decode、benchmark 与目标领域。

从模型卡到任务评估：模型卡提供结构和训练信息。结合推理预算、评估切片与失败样本，才能判断它在目标场景中的效果。

回前沿决策 看结构变体 看权重公式

适用范围与一手资料

模型数字来自标注版本的作者报告，未在本站实测。新增 Engram 教具只有两张标量表、2-gram 和无投影/RMSNorm 的简化门控；核对 12 参数梯度、碰撞与前缀，不重跑模型、查表通信或主存预取。原始论文与 V4.1 去卷积/更新配方分开。

公式与机制的原始依据 · 10 项
知识目录
搜索知识库