2.2 动量与自适应优化器

核心问题： 如何利用历史梯度调整更新方向和每个参数的步长？

在线 Notebook

对应的交互式版本可在 Google Colab 打开，统一使用方式见第0章说明。

Momentum

Momentum 对历史梯度做指数加权：

v_{t} = β v_{t - 1} + (1 - β) g_{t}, θ_{t + 1} = θ_{t} - η v_{t}

它可以平滑小批量梯度噪声，并在方向持续一致时累积更新。 $β$ 越大，历史影响越长，但对方向变化的响应也越慢。

RMSprop 维护平方梯度的移动平均：

s_{t} = ρ s_{t - 1} + (1 - ρ) g_{t}^{2}

θ_{t + 1} = θ_{t} - η \frac{g_{t}}{\sqrt{s_{t}} + ϵ}

平方和开方均按元素计算。近期梯度尺度较大的参数会得到较小的有效步长。

Adam 同时估计一阶矩和二阶矩：

m_{t} = β_{1} m_{t - 1} + (1 - β_{1}) g_{t}

v_{t} = β_{2} v_{t - 1} + (1 - β_{2}) g_{t}^{2}

初始化为零会让早期估计偏小，因此使用偏差修正：

{\hat{m}}_{t} = \frac{m_{t}}{1 - β_{1}^{t}}, {\hat{v}}_{t} = \frac{v_{t}}{1 - β_{2}^{t}}

θ_{t + 1} = θ_{t} - η \frac{{\hat{m}}_{t}}{\sqrt{{\hat{v}}_{t}} + ϵ}

AdamW 将权重衰减作为独立更新项，而不是把 L2 项直接混入自适应梯度。它是 Transformer 训练中的常见起点，但学习率、权重衰减、 $β$ 和调度仍需验证。

方法	使用历史方向	按参数调整尺度	额外状态
SGD	否	否	无
Momentum	是	否	1 份
RMSprop	否	是	1 份
Adam / AdamW	是	是	2 份

自适应优化器增加优化器状态显存，也不保证所有任务上泛化更好。比较时应固定数据、初始化、训练预算和调度策略。

LMS vs Adam

图2.2：LMS 与 Adam 在一个参数估计任务上的收敛和误差。

代码文件： code/ch02_optimization/lms_vs_adam.py

bash

python code/ch02_optimization/lms_vs_adam.py

至少比较两组学习率，并同时记录最终测试误差。若 Adam 更快下降，也要检查是否使用了相同更新次数和停止条件。

下一节： 2.3 优化器与模型的分工