自然语言小项目：从中文段落到可加载的权重

固定 38 个本站页面作为自然语言来源：24 个训练文档、6 个验证文档、8 个独立测试文档。提取正文段落，移除公式子树和构建占位符、合并空白，保留 20–800 个 Unicode 字符的段落；原始 HTML、段落文本和 SHA-256 全部保存。这些是本站工程说明，不是 TinyStories 语料或通用中文语料。

所有规范化段落做全局精确重复检查，跨划分文档 ID 与精确段落哈希不重合。本次没有检出需要删除的精确重复段落；语义近重复与共同术语仍可能存在。因此这是同一窄领域内的文档留出评估，不支持通用中文能力的结论。

Byte-BPE 只在训练段落统计相邻对，执行 128 次合并；加上 256 个 UTF-8 字节与 PAD/BOS/EOS，共 387 个 token。所有划分的段落均通过编码—解码往返核验。它是可运行的字节 BPE，不包含 GPT-2 的正则预切分或下载的 tokenizer。

这是所有有效位置参与监督的因果语言建模。助手回复专用 mask、对话模板与指令微调是后续独立任务，不能从本轮自然语言 next-token 学习直接推出。

只看词频的 unigram，和只看前一个 token 的 bigram，都可以在相同预测单位上建立简单参考。它们只统计训练标签；各自在固定的三个平滑参数中用验证 CE 选一个，再读完整测试集。Transformer 沿用上一轮三个 seed 的保存结果，不重新选择权重。

所有方法使用同一份 387-token 词表、相同的 shifted labels、文档边界和有效标签分母。更低的 CE 支持这个任务上的预测改善；中文流畅性、事实正确性与指令遵循仍需独立评价。没有把不同 tokenizer 下的每 token 损失直接比较。

从三个 seed 的同一份第 800 步权重重新计算每个有效标签的 NLL 与预测，按完整文档汇总，再与已冻结的 bigram 基线逐文档配对。这里不继续训练，不根据新的切片选择 seed 或 checkpoint。

长文档对微平均的权重更高，不自动表示统计错误。应先明确要估计一次 token 预测，还是一篇文档的平均表现，再比较同口径的结果。逐文档差值、真实来源和三 seed 均保留；文档之间仍共享领域和术语，重采样区间不能证明面向任意中文文本的泛化。

三条提示在训练前固定，所有 seed 保留。生成采用无词表屏蔽的 greedy、最多 48 个新 token；PAD/BOS、无效 UTF-8 的替换字符与没有生成 EOS 的情况均显式报告。长于 96 的上下文按窗口截取并重新使用局部位置，不宣称长上下文能力。

保存初始、中途和最终权重，以及 AdamW 状态、采样器置换与游标、torch RNG、配置和 tokenizer。seed 11 从第 400 次更新的 checkpoint 在新 Python 进程中继续到 416，参数、优化器、样本序列、RNG 和逐步 loss 全部逐值一致。本轮没有异步数据 worker 或随机 dropout，恢复证据只覆盖明确执行的条件。

# 在仓库根目录运行；也可把路径换成下载包解压后的对应位置
.venv-framework/bin/python scripts/text-inference.py \
  --checkpoint artifacts/practice-20261028T152417Z/practice/text/seed-11-final.pt \
  --tokenizer artifacts/practice-20261028T152417Z/practice/text/tokenizer.json \
  --prompt '模型训练'

加载先按包内 SHA256SUMS 核对权重与 tokenizer 文件身份，再检查词表大小；推理保持相同配置和 48-token greedy 策略。训练用的 tokenizer.json、windows.json、逐步轨迹和三 seed 权重均在完整来源中。