Glen Li's Gallery
站点导航
模型工程 WIKI
← 返回书架人工智能 · 交互式 Wiki
模型工程/训练环境与验证器资料与边界
模型能力与应用进阶专题讲解

AGENT TRAINING / ENVIRONMENTS

训练环境：从任务到可验证的轨迹

训练 Agent 要提供能行动、能观察、能重置、能判定结果的环境。任务怎样构造、哪些信息可见、什么行为得到奖励，共同决定模型学到什么。

01 / CONTRACT

训练前，先定义世界怎样响应动作

01 / RESET

恢复初始状态

仓库、数据库或网页快照；固定版本、随机种子和访问权限。

02 / ACTION

执行允许的动作

类型、参数、资源预算、超时、幂等和错误返回由运行时约束。

03 / OBSERVE

返回可见信息

区分环境内部状态与模型可见观测；隐藏测试不能混进提示。

04 / VERIFY

评估终点

任务完成、回归、约束违反与副作用分别核对，记录失败原因。

at∼πθ(⋅∣o≤t,a<t),st+1∼P(⋅∣st,at),ot+1∼O(⋅∣st+1),J(θ)=E[∑tγtrt].\begin{aligned}a_t&\sim\pi_\theta(\cdot\mid o_{\le t},a_{<t}),\\s_{t+1}&\sim P(\cdot\mid s_t,a_t),\quad o_{t+1}\sim O(\cdot\mid s_{t+1}),\\J(\theta)&=\mathbb E\left[\sum_t\gamma^t r_t\right].\end{aligned}
s 是内部环境状态，o 是可见观测，P 是转移，O 是观测规则。部分可观测时，模型可能需要历史或外部记忆；状态转移通常无需对 θ 可微，策略梯度使用采样动作的 log-prob。

SWE-Gym（2024 年提交、2025 年修订）把真实软件任务、代码仓库、可执行环境和单元测试组织起来，用于训练 Agent 与验证器。软件环境还要锁定依赖、复现失败、限制资源，并避免把测试运行器、基础设施失败与代码缺陷混为一种奖励。

02 / VERIFIER

相同结果，三种检查会给出什么奖励？

授权预留两件商品

离线预设轨迹 · 无真实库存操作

初始库存 10，授权预留 2 件，其他项目不得改变。切换轨迹总是从同一快照开始。

奖励
剩余库存
预留数量
    检查观测是否满足

    奖励由已声明的规则确定。这里没有学习中的策略，也没有让真实模型探索漏洞；用于观察遗漏条件怎样改变奖励。

    通过现有检查只能说明满足已测条件。增加回归测试、状态不变量和隐藏变化，可提高覆盖；仍要抽查“得到高奖励但行为不合预期”的轨迹。验证器的代码和版本也是训练工件，改变它会改变优化目标。

    03 / TASK PRODUCTION

    怎样持续产出有用、可解、独立的任务？

    环节要记录什么常见失败检查方法
    任务构造来源、初始状态、目标、允许动作。题目与快照矛盾，工具无权限，目标根本无法达到。参考解或专家复核，基础环境检查；“当前模型没解出”单独分类。
    难度与课程基线成功率、行动长度、依赖深度、错误分布。全容易或全失败，缺少有区分度的反馈。按题族与难度监测；课程改变后继续测宽分布泛化。
    轨迹采集采样策略版本、动作、观测、奖励、终止原因。只留成功路径，缺少错误恢复；截断被当作错误答案。保留失败类型、环境故障和恢复案例，按目的筛选。
    数据隔离题族、仓库、模板、参考解和测试来源。同仓库改写进入训练与测试，隐藏答案出现在日志。按来源分组，检查可见观测，保留时间后移和独立测试。
    更新闭环环境/模型版本、任务配比、收益与成本。模型与验证器互相适应，分数提高但任务覆盖收窄。锁定外部验证集、替代验证器、人工审查和变体任务。

    自动生成任务还要经过有效性和独立性筛选。可以由规则、专家或模型构造，再通过执行检查；成功的参考轨迹提供可解性证据，但参考答案不应泄漏进模型的可见上下文。每条轨迹多次调用工具，其成本也应计入有效训练数据预算。

    04 / BOUNDARIES

    奖励、权限和测试隔离怎样配合？

    奖励提供偏好，运行时限制动作

    奖励惩罚越权无法代替权限控制。训练和评估环境应隔离、限制网络与文件访问、设置资源预算，并为不可逆动作定义审批边界。

    模型不能改自己的考卷

    把 grader、隐藏测试和计分日志与可写工作区隔离。测试源码若属于任务输入，另外准备未暴露的检查，记录每次修改与结果。

    环境故障单独处理

    超时、依赖下载失败、服务不可用和模型动作错误分别标记。是否重试、跳过或计失败，应提前固定并写入报告。

    仿真到真实环境的差异

    训练环境简化了时延、权限、页面变化和异常行为。用真实目标环境的独立任务检验迁移，逐步扩大授权范围。

    生成与训练系统外部内容与提示注入重复执行与环境评估
    05 / TRAIN THE ORCHESTRATOR

    Moonshot PARL：训练的是怎样分工与收尾

    Kimi K2.5 的公开 PARL 设定训练编排者，动态调用的子 Agent 保持冻结。早期奖励鼓励探索并行与完成子任务，辅助权重逐渐退火，最终关注整项任务结果；奖励“多开几个子 Agent”本身会留下刷分空间。

    CriticalSteps=∑t=1T(Smain(t)+max⁡iSsub,i(t))\mathrm{CriticalSteps}=\sum_{t=1}^{T}\left(S_{\mathrm{main}}^{(t)}+\max_i S_{\mathrm{sub},i}^{(t)}\right)
    公开的关键步数按阶段计算主流程加最慢子任务。它是延迟代理；实际等待、同步与工具开销还需测量。
    手工阶段主流程步数子任务步数本阶段关键步数
    123 / 57
    214 / 25

    本例假设同阶段子任务可同时执行、阶段间有屏障。关键步数为 12，全部串行的总工作步数为 17。这里没有模型运行，不能把 17/12 当作实际加速比；核验训练收益还要固定完成质量、工具预算与整项任务成本。

    来源：Kimi K2.5 技术博客第 2 节。本节绑定 K2.5 的公开机制，不推定后续 K3 系列训练细节。算例可用 RL 页的固定输入核验命令重算。

    06 / TRAIN WITH THE HARNESS

    Microsoft Agent Lightning：训练时保留真实 Agent 框架

    Agent Lightning v1.0 让部署时的 harness 继续控制工具、上下文与交互，训练系统通过 LLM 代理记录调用，再组装样本。一条任务轨迹可能因摘要、分支或重新分词拆成多条训练记录；harness 行为会直接影响训练数据的形状。

    先核对 token 与上下文

    重新套模板可能改变 token 边界。保存实际采样 token、log-prob、生成版本和原始前缀，不能仅凭文本看似相同就合并记录。

    再核对统计单位

    同一 rollout 拆出的记录数量可能只是框架行为。按记录平均或计算组内优势，可能让拆得更多的任务获得额外权重；归约应绑定明确的任务与 rollout 定义。

    公开论文还描述同池异步调度：收集足够轨迹后暂停接收新模型请求，排空在途请求，再更新共享 GPU 上的权重并恢复生成。核验时保留暂停、排空、更新和版本切换日志；不要将它与任意版本混采等同。

    来源：Agent Lightning v1.0 论文第 2–3 节；官方 v1.0.0 源码快照。该版本发布于 2026-08-17，10 月 7 日是后续技术博客说明日。本站检查公开资料和源码入口，未重跑其训练或 SWE-bench 成绩。

    QwenGyre 的轨迹树与来源 mask监督边界与 loss 位置结果与工件的核验范围

    适用范围与一手资料

    预留库存的轨迹和状态均为预设；没有真实工具或学习策略。PARL 与 Agent Lightning 为固定公开版本的机制案例；关键步数仅重算手工输入，不测模型、实际并行时延或训练收益。

    公式与机制的原始依据 · 7 项
    知识目录
    搜索知识库