20170914——丁酉年七月廿四

      本周从DQN开始，回顾了DPG、DDPG、TRPO。不得不说，深入去理解每一篇paper，才知道各路大神为什么要那样做，而不仅仅停留在知道代码怎么写的层面上。

      总的来说，DPG的思想已经能完全理解，D.Silver确实是算法大神。TRPO在constraint那部分的理解上，还没吃透。打算歇停两天后再仔细看看。

下周白天时间，结合算法，用DDPG简单的实现AO控制仿真。

晚上用来再次精读一次TRPO，然后学习GPS、PPO。