Double-DQN笔记

double-dqn是dqn比较著名的变种，他主要解决的一个问题是在之前的DQN公式中，我们用网络估计出来的Q值比Q值的实际值要高很多，也就是著名的过估计问题。
先说一下什么是过估计，看过张斯俊大神这一篇的就会知道
https://zhuanlan.zhihu.com/p/109498587
Q值最最最保真的值，也就是他的定义式，应该是由这个动作引发的直接一步后续所有可能状态的期望，但是我们不可能说等到所有状态都迭代好了以后再去求这个Q值。
所以在Q-Learning阶段我们就选用了下一个state最大Q值的那个动作来更新Q表，这也就是为啥会产生过估计。
也就是说这个过估计其实是Q-Learning带给它的，double-dqn做的是一个事情是它用target来求Q值，但这个选择的动作不由Q-target给，他由那个在实时学习的网络来给出Q值最大的动作，用Q-Target给出Q值，这样做的好处是经过迭代学习以后，Q-target和Q-估计选出的动作不是同一个动作，那么就一定概率上降低了过估计的问题。