02 · LoRA、PEFT 与训练对象
任务数据固定后，需要更新全部权重，还是只更新一组适配器？全参数微调更新全部权重，LoRA 则冻结基座并学习低秩增量。比较时同时看任务质量、训练显存和保存后的加载方式。
从全参数更新到适配器
先明确任务要求和资源预算，再选择更新范围。参数少可以减少优化器状态和保存量，但实际显存还取决于基座、激活及执行路径。
| 选择 | 主要收益 | 主要代价 | 需要固定的证据 |
|---|---|---|---|
| 全参微调 | 更新容量最大 | 显存、优化器状态和训练成本高 | 模型规模、学习率、恢复与评测 |
| LoRA | 可训练参数与适配器产物较小，便于回滚 | 目标模块与秩会限制适应能力 | 目标模块、秩、缩放系数与随机失活比例 |
| QLoRA | 低比特冻结基座降低权重驻留量 | 量化配置与运行路径增加变量 | 量化配置、计算数据类型、适配器与基线 |
| LoRA 变体 | 可改善稳定性或参数利用 | 比较维度更多 | 固定数据、参数预算与评测集 |
怎样选择模块、低比特基座与变体
先选目标模块，再设定秩、缩放系数和训练预算。QLoRA 改变冻结基座的表示与计算路径，rsLoRA、DoRA 等变体改变适配器参数化；两类变化分别比较，固定监督数据、输入长度和有效更新预算。
| 约束来源 | 对应机制入口 | 主要改变 | 固定比较条件 | 最小证据 |
|---|---|---|---|---|
| 可训练参数和更新范围 | 低秩更新练习 | 目标模块、秩、缩放与合并路径 | 数据、有效更新步和评测 | 参数量、独立质量与产物 |
| 基座显存不足 | QLoRA 机制 | 冻结底座的量化表示与计算数据类型 | 适配器、数据和更新预算 | 峰值显存、质量与执行路径 |
| 适配器参数化选择 | LoRA 变体比较 | LoRA、rsLoRA、DoRA 与预算分配 | 固定秩或固定可训练参数预算 | 质量、稳定性与参数量 |
固定比较条件后再选择产物
全参、LoRA 和 QLoRA 的公平比较至少固定数据切分、有效监督词元、有效优化器步、验证协议和随机种子。固定秩适合观察参数化差异，固定可训练参数预算适合比较模块范围和变体；两种实验回答的问题不同。候选通过验证后，再按推理是否需要基座与适配器分离、是否需要合并以及加载后端支持情况，交付全量权重或适配器。
选定更新范围后，在训练控制中固定有效批量、更新步和恢复状态，再由SFT 基线与交付验证保存后的模型。配置含义可查PEFT 文档。