本页章节
ARCHITECTURE / WEIGHTS / INFERENCE
Transformer 架构：结构、权重与推理
这里把架构拆成三种视角：它从 2017 年到现代 decoder 改了什么；一层里有哪些权重矩阵与残差路径； 推理时 prefill、decode 和 KV Cache 为什么形成完全不同的瓶颈。
从 token 到 logits 的计算路径
现代 decoder-only LLM 的常见骨架；具体模型会改变 Norm、位置编码、Attention 形状和 MLP/MoE。
[B, T]V × dAttention + MLP / MoE[B, T, d]d × V[B, T, V]这是一个常见的 pre-norm decoder block。真实模型可能加入 QK-Norm、共享专家、滑动窗口、稀疏注意力或额外路由，但 Q/K/V、残差、FFN/MoE 和归一化仍是主要构件。
按问题进入专题
下面分别介绍结构演化、权重形状、推理性能和架构变体。
Transformer 一路改了什么？
Post-LN → Pre-LN、GELU → SwiGLU、绝对位置 → RoPE、MHA → GQA/MQA、Dense → MoE。
看设计选择与代价 → 02 / ANATOMY一层里有哪些权重？
逐层 Q/K/V/O、SwiGLU、残差、Norm；用参数量公式算总权重、每 token 激活参数与 MoE 路由。
打开矩阵与参数计算器 → 03 / INFERENCE为什么有 prefill、decode 和 KV Cache？
看 prompt 并行计算、逐 token 解码、KV 增长、GQA、Paged Attention 与连续批处理的真实瓶颈。
打开推理过程与 KV 计算器 → 04 / VARIANTS各类结构变体有哪些收益与成本？
MHA/MQA/GQA/MLA、滑窗与稀疏、RoPE、Norm、SwiGLU、MoE、SSM 混合，以及结构分析结论。
按设计轴比较与选型 →先固定一个例子：典型的 d=2048、24 层、16 heads、8 KV heads、head_dim=128、SwiGLU FFN=5632 的模型，总参数约 1.3B。训练显存看完整权重与优化器状态；推理显存还要加 KV Cache；每 token 的激活计算则只走当前路径。后续两页会用同一组公式展开。
适用范围与一手资料
架构入口按结构、参数与执行拆页。实际模型的张量形状、bias、Norm 和共享方式以指定版本配置为准。
公式与机制的原始依据 · 3 项
- Attention Is All You Need (2017)Q/K/V、缩放点积、残差与原始 encoder-decoder
- GQA (2023)query 与 KV head 分组，质量与推理成本的折中
- Mixtral of Experts (2024)8×7B、top-2 路由与总/激活参数