01 为什么 SFT 之后还要继续做对齐
页面目标
这一页先解释“为什么 SFT 之后还会继续出现 alignment gap”，以及后训练到底在修什么。
本页的输出是问题边界：确认基础能力已经足够，偏差主要来自偏好、风格、安全或一致性目标，而不是继续补 SFT 数据就能解决。
问题起点
SFT 更像在回答“模型会不会按示例格式作答”。
后训练 / 对齐则在回答“模型是不是更符合偏好、更安全、更稳定、更一致”。
所以，SFT 成功并不等于偏好对齐完成。常见的偏差包括：
- 答案形式正确，但偏好排序不稳定
- 在多个合理候选里，模型不总是选到更优那一个
- 训练目标和最终 judge / win-rate 目标不一致
核心矛盾
后训练阶段的核心矛盾是：
- 训练信号更接近真实偏好，但代价也更高
- 一旦目标从 token-level imitation 切到 preference-level optimization，数据形态、loss 设计和评测方式都会一起变化
这就是为什么后面会分化出 RLHF / PPO、DPO、GRPO 这些不同路线。
演化脉络
可以把后训练的演化粗略理解成三步：
- 先从 SFT 出发，发现“会回答”不等于“符合偏好”。
- 再引入偏好数据和 reward / preference 目标，尝试直接优化更优回答。
- 最后分化成不同方案：完整但重的 RLHF / PPO、更轻的 DPO、以及偏 group-wise 的 GRPO。
可视化入口
关键取舍
| 取舍 | 你得到什么 | 你付出什么 |
|---|---|---|
| 更接近真实偏好 | 训练目标更贴近最终体验 | 数据构造和评测更复杂 |
| 更完整的优化链路 | 方法表达能力更强 | 系统代价更高 |
| 更轻的方法 | 更容易接到已有 SFT 流程 | 对数据质量更敏感 |
对应 Part 02
14：看 RLHF / PPO 的完整链路和系统代价。15：看 DPO 怎样把偏好优化改写成更直接的目标。16：看 GRPO 怎样利用组内比较。50：看偏好数据和评测口径。84 / 85：看项目页怎么收口。
文献锚点
- Ouyang et al., Training language models to follow instructions with human feedback：理解 RLHF 为什么会成为经典基线。
- Rafailov et al., Direct Preference Optimization：理解为什么可以不显式训练 reward model 也做偏好优化。
- GRPO 相关论文与实现资料：理解 group-wise 路线为何出现。
本节要点
后训练不是 SFT 的补丁，而是目标从“模仿”切到“偏好优化”之后产生的一条新主线。
进入下一页
先看 02 RLHF 与 PPO 的系统代价，把完整但昂贵的对齐闭环作为比较基线。