深度强化学习（15）Twin Delayed DDPG （TD3）

本文参考 OpenAI Spin

前一章，我们讲了 DDPG，它是一个很好用的 DRL 算法。但是在某些时候，它还是会有一些问题。一个主要的问题是 Over Estimate Q 值。虽然DDPG 学习 Double Q-Learning 使用了 Target Network 和 Current Network 来估计Q值，但是它在选择 Action 的时候，每次都还是选择了 Q 值最大的 Action。 Twin Delayed DDPG (TD3) 使用了3个方法，来试图解决这个问题：

Clipped Double-Q Learning ： TD3 使用2个 Q-functions，每次使用Q值较低的 Fucntion。
延迟 Policy 更新： DDPG 每一轮都会更新 Policy，但是 TD3 会延迟参数更新。
给 Target Action 增加噪声 ：通过给 Action 增加噪声，来减少Over Estimate 。

一些要点

TD3 是 Off-Policy
TD3 也是用于连续型 action。

给Target Action 增加噪声

在 DDPG 中，我们使用 $\mu_{\theta_{targ}}(s^{\prime})$ 来选择Action，如果某些 Action 的Q值出现了不正常的 “尖峰”，那么算法就会频繁的选择这些 Action，从而导致算法不稳定。为了解决这个问题 TD3 引入了平滑机制。

Smooth Action Selection

加入高斯噪音 $\epsilon \sim \mathcal{N}(0, \sigma)$ 。
对造成进行限制，其绝对值不能超过 $c$ (超参数)，这样噪声就变成了 $clip(\epsilon, -c, c)$
把噪声加到 $\mu_{\theta_{targ}}(s)$ 上
加和以后的 Action 加上限制，防止得到的 Action 超出允许范围 ( $a_{Low}, a_{High}$ )

2 个Q Fucntion

每个Q Fucntion 都有一个 Target Fucntion，更新方法和单个 Q Function 在DDGP中的方式一样。实际使用时，每个Q Fucntion都会给出一个 Q值，每次选择较小的 Q 值，作为最终的 Q值。

$y(r, s^{\prime}) =r+\gamma \min _{i=1,2} Q_{\phi_{i, \text { targ }}}(s^{\prime}, a^{\prime}(s^{\prime})) = r+\gamma \min _{i=1,2} Q_{\phi_{i, \text { targ }}}(s^{\prime}, clip[ \mu_{\theta_{targ}}(s^{\prime}) + clip(\epsilon, -c, c)), a_{Low}, a_{High}])$

两个网络的更新方式是：

$L(\phi_{1}, \mathcal{D})=\underset{(s, a, r, s^{\prime}) \sim \mathcal{D}}{E}[(Q_{\phi_{1}}(s, a)-y(r, s^{\prime} ))^{2}]$
$L(\phi_{2}, \mathcal{D})=\underset{(s, a, r, s^{\prime}) \sim \mathcal{D}}{E}[(Q_{\phi_{ 2 }}(s, a)-y(r, s^{\prime} ))^{2}]$

其中 $\mathcal{ D }$ 代表 Replay Buffer

更新 Policy

TD3 更新 Policy 的方式和 DDGP 一样，唯一不同的是， TD3 有2个 Q Fucntion，在更新 Policy的时候，使用的是第1个 Q-Fucntion。

Update Policy

Exploration vs. Exploitation 的权衡

TD3 是 Deterministic 的 Off-Policy 算法。因为策略是确定性（Deterministic）的，所以会限制 Agent 探索策略空间。为了使 TD3 策略更好地探索，在训练时引入了高斯噪声。如果想获得更高质量的训练数据，也可以在训练过程中减少噪声的规模。这种情况下，探索策略空间和训练数据质量，构成了在噪声水平上的一对 Tradeoff。

伪代码

这是 OpenAI SpinUp 的伪代码。需要注意的是，他在 transition 里面引入了 d。比如 $B={(s, a, r, s^{\prime}, d)}$ , 其中 d 代表当 $s^{\prime}$ 是否意味着最终状态，比如游戏结束，如果 $d= True$ 那么，就意味着 Trajectory 结束了。因为在 Python 中 True 就是 1，所以在计算 Target $Q$ value 的时候，有 $(1-d)$ 。意思是，如果游戏结束 $d= True$ 那么 $(1-d)=0$ ，后面的 $Q$ 值就是0 。