Skip to content

08 · 轨迹生命周期与环境交互 ​

模型调用计算工具,读到结果后给出答案。把初始任务、模型动作、工具观察、奖励及终止状态按顺序保存,就得到一条交互轨迹;采样轨迹也常称为 rollout。训练时要分清哪些词元由策略选择,系统恢复时还要知道这条轨迹是否已经参与更新。

一次工具调用留下了什么 ​

以“计算一个数值并回答”为例,模型先生成工具名称和参数,环境执行后返回数值,模型再据此生成最终回答。工具结果可以影响后续回答,但它本身不是模型采样出的动作。动作掩码是逐位置标记,用来选择哪些模型动作进入策略损失;工具观察作为后续上下文保留,与控制可见范围的注意力掩码分开处理。

任务奖励还要区分错误来自哪里:参数正确但工具服务超时,与模型调用了错误工具,不是同一种失败。环境版本、终止原因和原始奖励分量可以帮助还原这个区别;成功、已确认失败、超时和无法判定应分别保存。

轨迹中的内容在例子中的含义后续用途
初始任务与环境问题、可用工具及环境版本还原相同起点
模型动作工具调用参数、最终回答计算相应动作位置的策略目标
环境观察工具返回的数值或异常构成下一步上下文
奖励与终止答案是否正确、工具是否正常完成构造回报并区分反馈失败
轨迹身份与消费状态生成策略版本、绑定批次及提交状态判断能否接纳、恢复或重试

轨迹经过检查与预留后,分别处理成功提交、更新前失败和提交状态不明

生成时的策略与更新时的策略 ​

学习器是执行参数更新的角色。假设轨迹由版本 10 生成,到达学习器时模型已更新到版本 12。轨迹里的动作仍来自版本 10,版本号不能随着队列移动而改成 12。采样时保存的行为概率,与更新时当前模型对相同动作和上下文重新计算的概率,描述了不同分布;比较时还要核对分词器、有效动作位置与采样设置。

版本差有助于发现积压,但两个版本的行为可能变化很小,也可能变化很大。因此,轨迹是否仍可用于目标更新,还要结合动作概率偏离、奖励是否完成及算法允许范围判断。固定离线偏好对不要求当前模型重生成回答;在线循环则持续产生这类带生成身份的新轨迹。

预留、提交与失败重试 ​

接纳一条轨迹后,可以先把它预留给指定更新批次,避免另一个工作进程同时取走。优化器成功更新并完成相应提交后,再标记消费完成。若在更新前失败,通常可以按恢复规则释放预留;若参数更新可能已执行、消费标记却未完成,则需要回查提交记录和检查点,不能直接重新更新。

这种状态区分针对训练计划之外的重复提交。PPO 在同一轮内按已声明计划重复使用小批次,并不因此成为错误消费。恢复需要同时知道“本轮计划使用几次”和“哪些更新已经完成”。

多步奖励沿哪些动作传播 ​

一次工具结果可能影响后面多步回答,终局成功奖励也可能需要向更早动作归因,即确定哪些先前动作应获得更新信号。回报沿有效动作与环境转移累计。任务真正结束属于终止,采集因时间或步数上限提前停止属于截断,两者的后续价值处理可能不同;工具超时还需保留反馈失败原因。动作与观察混在同一种来源标记里,会使损失位置或归因边界出错。

相同环境交互可以用于不同训练目标:SFT 模仿经过验证的动作序列,DPO 比较同初始状态下的轨迹偏好,PPO 用价值估计构造多步优势,GRPO 比较同任务的候选轨迹组。算法改变的是更新信号,工具执行本身仍需独立处理。

版本与消费状态见Part 02 · PT-ROLLOUT-LIFECYCLE 轨迹新鲜度,动作与归因见Part 02 · PT-AGENTIC-RL 环境轨迹与奖励归因。确定一条轨迹怎样进入更新后,继续在在线执行系统观察多个工作进程的排队、权重同步与恢复。

Released under the MIT License.