02 · LoRA、PEFT 与训练对象
用同一批示范训练模型,可以更新全部权重,也可以只训练少量选定或新增参数,后者称为参数高效微调(PEFT)。低秩适配(LoRA)是其中一种方法:冻结原模型作为基座,把权重增量表示为两个较小矩阵的乘积。这些与基座分开保存的低秩参数及其配置构成本页的适配器;它们改变可训练参数量,也改变训练后需要保存和加载的内容。
线性层增加一条低秩分支
设冻结的线性层权重为
输入同时经过原线性层和低秩分支,两路结果相加。训练时,
例如,输入与输出维度都是 1024、秩为 8 时,原权重有
模块范围、秩与缩放分别改变什么
只在线性投影中的少数模块加入 LoRA,限制了增量可以作用的位置;扩大目标模块范围,会让更多计算获得可学习的增量。提高秩则扩大每个目标模块可表达的低秩增量空间,同时增加参数与优化器状态。缩放决定这条分支对输出的影响大小,和秩不是同一个变量。
固定秩比较不同模块范围时,参数总量通常也会变化。若目标是比较相同预算的分配方式,就需要把参数总量对齐,再比较“较少模块、较高秩”和“较多模块、较低秩”。rsLoRA、DoRA 等变体又改变缩放或参数化方式,比较它们时也要分清改变的是哪一项。
基座量化与适配器更新
QLoRA 将基座量化与 LoRA 结合:用低比特形式保存冻结基座,运算时按实现转换到相应计算数据类型,适配器仍承担可训练增量。它主要减少基座权重的驻留量,量化误差、激活和实际运行方式则继续影响质量与显存。因此,LoRA 与 QLoRA 的对照应尽量保持适配器、数据和有效更新预算一致,让基座表示成为主要差别。
| 方法 | 基座权重 | 可训练部分 | 保存与加载时的区别 |
|---|---|---|---|
| 全参数微调 | 参与更新 | 原模型权重 | 保存更新后的模型 |
| LoRA | 冻结 | 选定模块的低秩增量 | 适配器需匹配基座;满足条件时可合并 |
| QLoRA | 以低比特形式冻结 | 适配器增量 | 还需匹配量化配置与加载方式 |
保存后怎样还原这次适配
单独保存
计算与参数量见Part 02 · 14 LoRA,基座表示和参数化差异分别见Part 02 · 26 QLoRA与Part 02 · 31 LoRA 变体。确定更新哪些参数后,将参数方案与监督目标一起带入训练控制,核对损失怎样形成实际更新。
