Skip to content

Group 2.3: Fine-tuning and Training Techniques | 2.3: 微调与训练技术

本组聚焦 SFT、LoRA、WSD 和训练闭环,目标是把“能跑”变成“能训”。

Group Overview | 组概览

这一组先把微调、学习率调度和训练实验的链路讲清楚,是训练侧工程的重要主干。阅读顺序和组内资产见下表,先看 09,再进入 10-13。

Group Asset Overview | 组内资产总览

职责作用定位
09跑通 SFT 训练循环主线页
10理解 LoRA 的低秩适配主线页
11控制学习率调度节奏主线页
12用梯度累积换取更大 batch主线页
13做端到端微调实验主线页

Learning Path | 学习路径

  • 先看 09 -> 10 -> 11 -> 12 -> 13,把微调、调度器和训练闭环串起来。

Next Steps | 后续衔接

  • 看完本组后,继续进入 2.4,把训练链路接到偏好优化与对齐技术上。

Environment Notes | 环境说明

  • 默认按 CPU-first 阅读,优先把训练流程和参数关系看懂。
  • 这里只写组级统一前提,不点到具体节号。
  • 少数页面如需 GPU optional 或更大内存,以后续单页说明为准。

Released under the MIT License.