一、目标概述
就是如何通过深度学习，训练得到actor(执行者，机器人)或policy(策略)。我们把actor/policy记作
，actor根据环境给出下一步的行动或行动概率，即)
.
二、期望回报的原理
设
是神经网络的参数，记作)
，我们用这个actor去玩游戏：
- 看到现状
，采取动作
， 获得奖励
- 看到现状
，采取动作
， 获得奖励
……
- 看到现状
，采取动作
， 获得奖励
总得分: 
但是即使是不变，State也是具有随机性的，每轮游戏的得分
还是不一样的，因此我们用得分的平均数（期望）
来评估的性能。
定义： 我们把一轮游戏记作一个
，一轮游戏的得分记作%3D%5Csum_%7Bt%3D1%7D%5E%7BT%7Dr_t)
，再考虑上actor的参数，那么各种游戏场面出现的概率也是依赖于的，最后“期望回报”其实是一个概率加权平均p(%5Ctau%7C%5Ctheta))
。
近似：我们怎么获得)
呢？那就让去玩好多次游戏，得到
经过统计就知道游戏各场面出现的概率，代入上面式子就会发现：
p(%5Ctau%7C%5Ctheta)%5Capprox%20%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bn%3D1%7D%5E%7BN%7DR(%5Ctau_n))
(中心极限定理：样本的平均值约等于总体的平均值。 不管总体是什么分布，任意一个总体的样本平均值都会围绕在总体的整体平均值周围，并且呈正态分布。)
三、策略梯度
最优参数
梯度下降（gradient ascent）：
![\nabla\overline{R}_{\theta}=[\partial{\overline{R}_{\theta}}/\partial{w_1},\partial{\overline{R}_{\theta}}/\partial{w_2},…\partial{\overline{R}_{\theta}}/\partial{b_1},…]](https://math.jianshu.com/math?formula=%5Cnabla%5Coverline%7BR%7D_%7B%5Ctheta%7D%3D%5B%5Cpartial%7B%5Coverline%7BR%7D_%7B%5Ctheta%7D%7D%2F%5Cpartial%7Bw_1%7D%2C%5Cpartial%7B%5Coverline%7BR%7D_%7B%5Ctheta%7D%7D%2F%5Cpartial%7Bw_2%7D%2C%E2%80%A6%5Cpartial%7B%5Coverline%7BR%7D_%7B%5Ctheta%7D%7D%2F%5Cpartial%7Bb_1%7D%2C%E2%80%A6%5D)
上面这个式子是原理，实际上计算或编程的时候，怎么算呢？
)%7D%7Bdx%7D%3D%5Cfrac%7B1%7D%7Bf(x)%7D%5Cfrac%7Bdf(x)%7D%7Bdx%7D)
所以：
%5Cnabla%20p(%5Ctau%7C%5Ctheta)%3D%5Csum_%7B%5Ctau%7DR(%5Ctau)p(%5Ctau%7C%5Ctheta)%5Cfrac%7B%5Cnabla%20p(%5Ctau%7C%5Ctheta)%7D%7Bp(%5Ctau%7C%5Ctheta)%7D%5Capprox%20%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bn%3D1%7D%5E%7BN%7DR(%5Ctau_n)%5Cnabla%20logp(%5Ctau_n%7C%5Ctheta))
