Group 2.3: Fine-tuning and Training Techniques | 2.3: 微调与训练技术
本组聚焦 SFT、LoRA、WSD 和训练闭环,目标是把“能跑”变成“能训”。
Group Overview | 组概览
这一组先把微调、学习率调度和训练实验的链路讲清楚,是训练侧工程的重要主干。阅读顺序和组内资产见下表,先看 09,再进入 10-13。
Group Asset Overview | 组内资产总览
| 页 | 职责作用 | 定位 |
|---|---|---|
| 09 | 跑通 SFT 训练循环 | 主线页 |
| 10 | 理解 LoRA 的低秩适配 | 主线页 |
| 11 | 控制学习率调度节奏 | 主线页 |
| 12 | 用梯度累积换取更大 batch | 主线页 |
| 13 | 做端到端微调实验 | 主线页 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
Next Steps | 后续衔接
- 看完本组后,继续进入 2.4,把训练链路接到偏好优化与对齐技术上。
Environment Notes | 环境说明
- 默认按
CPU-first阅读,优先把训练流程和参数关系看懂。 - 这里只写组级统一前提,不点到具体节号。
- 少数页面如需
GPU optional或更大内存,以后续单页说明为准。
