综合检查：从数据走到更新与输出

用一份小配置检查样本流、监督数量、张量、词表通信和推理缓存。先作出判断，再展开答案与计算依据；每个问题都链接到负责解释的专题。

01 / CONFIGURATION

固定这份小配置

项目	设置
训练数据	10 条独立记录；每条输入3 token、回答2 token，已含模板，完整保留。
DP 数据分发	3 rank，Sampler 补齐，不打乱；Loader 每卡 batch=2，不丢尾。
梯度更新	累积2个 microbatch 后更新一次，仅回答位置计 loss。
模型宽度与输出	hidden=4，词表6类，输出词表可按0..2与3..5两片处理。
推理问题	独立标准自回归请求：输入8 token，总输出4 token，不提前停止。

TP 分片协作处理同一份样本；DP 副本分担数据。题目分别指定所用的并行维度，不将两者相乘作为监督次数。

02 / CHECKPOINTS

先选一个判断，再核对计算依据。答错或无法解释时，沿答案中的专题链接补读；能说明计数与假设后即可继续。

03 / REUSE THE METHOD

01 / IDENTIFY

样本、序列、token、监督位置、microstep、更新步与请求各自统计。

02 / TRACE

哪些张量复制、分片、视图共享，哪些路径贡献同一梯度。

03 / ACCOUNT

归一化目标、重复样本、有效标签、激活存活与 KV 长度。

04 / COMPARE

小例子手算或有限差分，大配置按容差比较 loss、梯度与更新。

七题采用明确固定配置，答案由样本和张量规则核算；用于检查概念衔接，不替代真实项目中的验证与排错。

公式与机制的原始依据 · 5 项

PyTorch · DataLoader and DistributedSampler采样索引、尾批、epoch 随机性和 IterableDataset worker 分片
Megatron Core · VocabParallelCrossEntropy局部 logits、全局最大值和指数和、目标 token 与梯度
PyTorch · Tensor Views共享存储、stride、transpose、reshape、contiguous 的语义
Transformers v4.57.1 · Caching2026-10-29 核对固定版本的 K/V 复用、因果可见范围和 cache position；具体缓存类型依架构与实现
PyTorch · torch.utils.checkpoint激活重算、RNG 保留、重入/非重入与重执行语义