08 · 轨迹生命周期与环境交互

采样结束后，一条轨迹能否进入当前训练批次？需要同时检查生成它的策略版本、模型动作、环境观察、奖励和消费记录；更新失败后，还要根据已提交状态决定释放预留、丢弃还是重放。

一条轨迹需要记录什么

轨迹记录将“由谁生成”“在什么环境发生”和“是否已用于更新”分开保存。工具观察可以成为后续上下文，但只有属于训练目标的模型动作位置进入策略损失。

组成部分	需要记录的内容	对训练的作用
任务与初始状态	提示或任务 ID、数据版本、环境版本、可用工具	固定比较起点，避免把任务变化误判为策略提升
模型动作	回复词元、函数调用或代码动作、动作掩码、行为策略对数概率	标出能够进入策略损失的动作及其生成策略
环境观察	工具结果、沙盒输出、下一轮状态	作为后续动作的上下文，不冒充模型动作参与梯度
奖励与终止	奖励分量、验证器版本、成功、失败、超时或无法判定	区分有效反馈与执行失败，决定是否构造更新信号
生命周期状态	轨迹 ID、策略版本、生成时间、消费批次与重试次数	支持去重、新鲜度检查、恢复和重复消费检测

离线偏好与在线轨迹的差别

离线 DPO 在更新时直接读取已有偏好对，不要求当前策略重新生成回答；偏好回答仍应保留来源模型、数据版本和评审协议。PPO、GRPO 或在线反馈循环使用当前或近期策略生成的新轨迹，因此还必须比较行为策略版本与学习器当前版本，并检查轨迹是否已经被消费。

按算法允许的偏离范围检查版本差和同轨迹行为偏离，再检查奖励是否完成、环境是否匹配。接纳后先绑定更新批次，成功提交参数更新后再登记消费；失败时按恢复规则释放或隔离预留。PPO 在一轮更新内重复使用小批次属于已声明训练计划，重复消费检查针对计划之外的重复提交。

Agent 环境怎样扩展轨迹

Agentic RL 把策略作用对象扩展到多步环境交互，并复用已有策略优化算法。文本回答通常只有一次提示—回复关系；Agent 环境会重复执行“模型动作 → 工具或环境观察 → 下一步动作”，直到成功、失败、超时或达到步数上限。

SFT 可以模仿经过验证的成功轨迹，DPO 可以比较同一初始状态下的两条轨迹，PPO 可以用价值基线估计多步优势，GRPO 可以比较同一任务生成的多条候选轨迹。无论采用哪种更新方式，模型动作、环境观察和奖励来源都必须分开保存。

用轨迹与策略新鲜度练习核对版本、预留与提交；多轮交互使用Agentic RL 练习检查动作、终止与奖励归因。需要解释工具执行异常时，回查Agent 工作负载、轨迹回放和沙盒权限。轨迹通过检查后进入在线执行系统。