Group 2.4: Alignment Techniques | 2.4: 对齐技术

本组聚焦 RLHF、DPO 和 GRPO，目标是理解偏好优化与对齐链路。

Group Overview | 组概览

这一组把偏好优化和对齐的核心方法讲清楚，是训练侧进一步收束到对齐目标的入口。阅读顺序和组内资产见下表，先看 14，再进入 15-16。

2.3 -> 2.4 -> 2.5 这个顺序是合理的：先在 2.3 里把训练闭环跑通，再在 2.4 里把训练目标推进到对齐，最后在 2.5 里回到底层的梯度和激活机制。这样读的好处是先知道“怎么训”，再知道“怎么对齐”，最后再知道“为什么会贵”。

Group Asset Overview | 组内资产总览

页	职责作用	定位
14	估算 PPO 的显存开销	主线页
15	理解 DPO 的偏好优化	主线页
16	理解 GRPO 的组级奖励	主线页

Learning Path | 学习路径

Recommended Order | 推荐顺序

• 先看 14 -> 15 -> 16，把偏好优化和对齐链路串起来。

Next Steps | 后续衔接

• 看完本组后，继续进入 2.5，把对齐训练接到反向传播和显存优化上。

Environment Notes | 环境说明

• 默认按 CPU-first 阅读，优先把对齐概念和损失函数看懂。
• 这里只写组级统一前提，不点到具体节号。
• 少数页面如需 GPU optional，以后续单页说明为准。