from：https://www.jianshu.com/p/295d7a8ebe48
都说要做强化学习先要搞明白马尔可夫决策过程，也还没明白为啥，先弄明白是啥吧。
一个马尔可夫决策过程里有一个状态集，表示当前现状；在这个状态下可以进行一些动作，因此有一个动作集供选择；根据动作会获得奖励或惩罚；还可以转移到其他状态上，有采取动作后转移到其他状态的概率（矩阵）；以及还有衰减因子，是用来计算累积奖励的。
强化学习基于模型是否可以存储马尔可夫决策过程的全部信息，分为了基于模型和非基于模型两类，后者需要自己探索未知的马尔科夫过程。
那么如何选择每个状态下应该采取什么动作呢，这就是问题的关键，这个成为策略。策略要求最大化的是长期利益，也就是选完这次动作下一个状态还要选什么动作也要考虑在内，把这个累积收益叫做价值，这里需要把之后的收益通过衰减因子折算到当前。
这里把当前状态的价值和下次状态价值写到了一个公式（贝尔曼公式）里：
from：https://www.jianshu.com/p/295d7a8ebe48
