强化学习与控制
本页目录
6. DQN 算法
具身智能视角:DQN 的核心思想——用神经网络逼近价值函数——是后续许多机器人控制算法的基础。理解 DQN 的原理有助于掌握更高级的算法如 DDPG、SAC 等。
本章沿用 MDP 的奖励下标约定:执行
6.1 Q 网络
在深度学习基础章节中,我们演示了如何使用神经网络来近似状态价值函数
其中
其中参数
注意,由于是基于
6.2 经验回放
在
这种更新方式在引入神经网络后会带来一些问题。首先,每次用单个样本去迭代网络参数很容易导致训练的不稳定,从而影响模型的收敛。其次,每次迭代的样本都是从环境中实时交互得到的,这样的样本是在时间上是连续的,即是有关联的,这与梯度下降法的数据假设不符,即训练集中的样本必须是独立同分布的。此外,每个样本只被使用一次就被丢弃,数据使用率较低,而在强化学习中与环境交互产生样本的成本往往较高,较低的数据使用率会严重影响训练效率。
为了解决这些问题,
然后在每次更新网络参数时,我们会从经验回放池中随机抽取一个小批量的样本进行训练:
其中
在本节尚未引入目标网络时,
如图所示,不同于

6.3 目标网络
注意到在前面的公式中,目标值
为了解决这个问题,
目标网络的参数
其中

另外,上面的更新方式被称为硬更新(
其中
6.4 -贪婪策略
为了平衡探索(Exploration)与利用(Exploitation),DQN 使用
- 以概率
随机选择动作(探索未知区域) - 以概率
选择 Q 值最大的动作(利用已有知识)
随着训练的进行,
6.5 算法流程
- 初始化当前网络
、目标网络 ( )和经验回放池 。 - 每个回合重置环境得到
。从 开始,按 -贪婪策略选择并执行 ,观测 、 以及是否终止,并将这条转移存入 。 - 样本数量足够后,从
随机抽取小批量 及对应的终止标记。若第 条转移终止,令 ;否则令 。 - 最小化小批量上的均方误差
,更新当前网络参数 ;每隔 个环境交互步复制参数 。 - 如果本次交互到达终止状态,结束回合;否则令
,重复步骤 2 中的动作选择与后续更新。
6.6 交互式演示
下面的交互式可视化展示了 DQN 的核心工作原理。在一个 5×5 的网格世界中,智能体(🤖)需要学会避开陷阱(🔥)到达目标(🚩)。你可以观察到:
- 左侧:网格世界中的热力图会随训练变化,反映各位置的价值高低
- 中间:神经网络的输入、隐藏层和输出(各动作的 Q 值)
- 右侧:经验回放缓冲区的内容和训练损失曲线
点击「训练」按钮开始,观察智能体如何从随机探索逐渐学会最优路径:
DQN 算法原理可视化
Deep Q-Network: 结合深度学习(感知)与强化学习(决策)
神经网络 (Q-Network)
当前决策解析
经验回放 (Replay Buffer)
训练损失 (Loss)
6.7 DQN 的局限与改进
尽管 DQN 取得了重大突破,但它仍有一些局限:
| 局限 | 改进方案 |
|---|---|
| Q 值过高估计 | Double DQN:使用在线网络选择动作,目标网络评估价值 |
| 均匀采样效率低 | Prioritized Experience Replay:优先采样 TD 误差大的经验 |
| 仅支持离散动作空间 | DDPG、SAC 等算法将其扩展到连续动作空间 |
| 只关注期望回报 | Distributional DQN:学习回报的完整分布 |
这些改进方案将在后续章节中详细介绍。
6.8 思考
相比于
主要包括:引入深度神经网络:
为什么要在
目的是为了平衡探索和利用的关系。具体来说,
目标网络的作用是为了解决动作价值函数的不稳定性问题。目标网络是一个与当前神经网络结构相同的网络,但其参数被固定一段时间。在训练时,使用目标网络来计算目标
经验回放的作用是什么?
经验回放主要作用在于缓解样本相关性和不稳定性问题,提高算法的训练效率和稳定性。缓解样本相关性问题:在深度强化学习中,每个样本通常都是与前几个样本高度相关的。如果直接使用当前样本进行训练,可能会导致样本之间的相关性过高,从而影响算法的训练效果。经验回放机制通过从经验池中随机取样,可以打破样本之间的相关性,提高训练的效果。缓解不稳定性问题:在深度强化学习中,每个样本的值函数都是基于当前神经网络的参数计算的。由于神经网络的参数在每个训练步骤中都会发生变化,因此每个样本的值函数也会随之变化。这可能会导致算法的训练过程不稳定,经验回放机制可以通过随机取样的方式,减少每个训练步骤中样本值函数的变化,从而提高训练的稳定性。