Group 2.5: Preference Optimization and Alignment | 2.5: 偏好优化与对齐

本组从 2.4 保存的 SFT checkpoint 开始。选择方法前，先固定偏好数据、回答评测规则和奖励含义：成对偏好进入 DPO，单条二元反馈进入 KTO；在线采样再根据是否使用 Critic、组均值或留一基线选择 PPO、GRPO 或 RLOO。持续采样与滚动更新还要记录轨迹身份、策略版本和恢复状态；梯度、有效更新或多模型训练状态异常时返回 2.3，反馈、奖励、策略版本和轨迹问题留在本组处理。

Pages and Frameworks | 页面与框架

直接列出的框架已经接入 Notebook 的 CPU 核对或 GPU 实验；括号中的框架表示尚未接入代码的后续入口。

页	核心问题	成熟框架入口	何时阅读
50	偏好对如何隔离，训练结果如何接受固定协议评测	Hugging Face Datasets · Dataset	先固定数据与评测规则
PT-REWARD-SIGNAL	reward、return、value、advantage 如何形成不同更新信号	TRL · selective_log_softmax / nanstd	区分在线算法的更新信号时
17	chosen / rejected 与 reference 如何形成离线 DPO 目标	TRL · DPOTrainer	使用成对偏好数据时
PT-KTO	单条点赞、点踩或验收标签如何形成 KTO 目标	TRL · KTOTrainer	只有单条二元反馈时
PT-REWARD-MODEL	偏好对如何训练标量奖励，怎样校准并识别过度优化	TRL · RewardTrainer	需要学习标量奖励时
16	actor、reference、reward、critic 如何协同更新	TorchRL · ClipPPOLoss	使用 Critic 的在线训练时
18	组采样和组内基线如何形成相对优势	TRL · GRPOTrainer	有可验证奖励和组采样时
PT-RLOO	同组多回答如何用留一基线形成在线策略更新	TRL · RLOOTrainer	不使用 Critic、采用留一基线时
PT-ROLLOUT-LIFECYCLE	怎样根据 rollout 身份和策略版本判断轨迹能否进入当前更新批次	verl · rollout correction / vLLM rollout；（TRL · PPOTrainer / GRPOTrainer / RLOOTrainer）	持续生成并复用轨迹时
PT-AGENTIC-RL	模型动作、工具观察和环境反馈如何形成可训练的多步轨迹	Gymnasium · Env / check_env	训练包含工具调用的多步行为时
PT-RL-SYSTEM	rollout、reward / reference 与 learner 如何分工	verl · vLLM rollout / FSDP actor；（TRL · PPOTrainer / GRPOTrainer / RLOOTrainer）	拆分生成、评分与训练角色时
51	在线反馈何时采用、延迟、回滚或停止	Hugging Face Datasets · Dataset；TRL · DPOConfig	持续接收新反馈时

Learning Path | 学习路径

先用 50 固定数据切分、反馈含义和评测规则，再根据已有信号选择对应的方法分支。在线分支从 PT-REWARD-SIGNAL 开始，区分 reward、return、value 与 advantage。

已有训练信号	是否在线生成	比较基线	对应页面	项目验证
同一提示的 chosen / rejected	否	Reference 下的偏好边际	17 DPO	84 DPO 项目
单条回答的接受 / 拒绝标签	否	独立 KL 样本基线	PT-KTO	暂无独立项目
学习到的标量奖励，并训练 Critic	是	Value / GAE	PT-REWARD-MODEL → 16 PPO	暂无独立项目
同提示多回答的奖励	是	组均值与可选标准差	18 GRPO	85 GRPO 项目
同提示多回答的奖励	是	排除当前回答的留一均值	PT-RLOO	暂无独立项目

在线更新与系统验证

算法页先确定训练信号和损失；持续采样时，还要检查轨迹版本、环境交互、角色容量、传输和恢复条件。

场景	后续入口	解决的问题
在线 DPO	17 或 84 → 51	固定反馈窗口，并决定采用、延迟或回滚
PPO / GRPO / RLOO 持续采样	PT-ROLLOUT-LIFECYCLE → PT-RL-SYSTEM	固定轨迹身份、策略版本、角色容量、传输与恢复条件
多步工具和环境交互	PT-AGENTIC-RL	表达环境状态、模型动作、工具观察、终态 / 过程奖励与信用分配

Project Validation | 项目验证顺序

固定模型、数据与评测协议后，84 和 85 分别训练 DPO 与 GRPO 模型，86 再核对模型或适配器哈希、检查点恢复结果和回滚记录。执行配置见 2.10，当前实验状态与复测标签见后训练优化实验资产表。

项目	何时进入	直接输入	主要输出	验证内容
84 DPO 偏好优化	已有隔离偏好数据与 SFT 基线	SFT checkpoint、偏好数据 manifest 与评测协议	DPO 模型或适配器、质量报告与运行 manifest	偏好边际、质量与训练稳定性
85 GRPO 组内对齐	已有可执行验证器、组采样配置与 SFT 基线	SFT checkpoint、奖励规范与固定工作负载	GRPO 模型或适配器、奖励 / 质量报告与运行 manifest	奖励、质量与训练稳定性
86 在线后训练生命周期与恢复	84 或 85 已形成可恢复产物	运行 manifest、策略版本、产物哈希与检查点记录	生命周期报告、恢复验证与 Part 05 交接清单	身份核对、恢复与回滚

Environment Notes | 环境说明

运行目标	环境入口	适用内容
基础机制练习	BASE-CPU	本组机制页的 Step 4 与测试
成熟框架核对	PT-CPU	本组带“框架一致性核对”层级的机制页；该环境包含基础练习依赖
单卡系统机制	PT-VERL-CUDA	轨迹准入、阶段耗时与缓存驻留对照
真实实验与项目	各页 Step 5 或项目环境说明	奖励模型、奖励信号、DPO、GRPO 的可选 GPU 实测；84、85 的隔离训练环境；86 的生命周期验证环境