这节课之前介绍的都是无模型（model-free）强化学习算法，从这节课开始讨论基于模型（model-based）的强化学习算法。在讨论基于模型的强化学习之前，我们首先来了解一下如何使用模型来做决策，无论这些模型是学习来的还是通过认为指定的。本节课讨论最优控制和规划问题，这些问题中假设模型是已知的。
内容：
- 有模型的强化学习简介
- 转移矩阵已知的情况下怎么做决策
- 随机黑盒优化方法
- 蒙特卡罗树搜索（MCTS）
- 轨迹优化（线性二次调节器LQR及其非线性扩展）
学习目标：
理解在模型已知的情况下如何在离散和连续空间内进行规划，了解最优控制算法和广泛使用的轨迹优化方法。
在实际场景中，转移矩阵通常是已知的，比如在一些游戏中（Atari games, chess, GO）,或者一些很容易建模的系统，或者模拟环境中。另一些情况下，转移矩阵不是已知，但是可以被学习。
已知转移矩阵可以让解决问题更容易。
Model-based强化学习是先学习转移矩阵，再选择行动。本节课内容关注转移矩阵已知的情况下如何决策。转移矩阵已知意味着在图模型中所有边的信息已知。
最优控制 、轨迹优化和规划这三个概念之间的界限有点模糊。
- 轨迹优化是一类特定的情境，通过选择一系列的动作、状态来使某些结果达到最优，轨迹优化优化的是连续的轨迹。
- 规划通常指离散轨迹的优化，但它也可以指代连续轨迹的优化。一般情况下用规划来表示离散轨迹优化，用轨迹优化来表示连续轨迹优化。
- 最优控制是更宽泛的概念，指在给定的约束条件下，寻求一个控制，使给定的系统性能指标达到极大值(或极小值)。强化学习也属于最优控制类问题。
下节课会讲到如何学习转移矩阵。
- 学习的目标
基于模型的强化学习方法不再学习策略，只有状态和行动。规划就是选择一系列的行动来使目标函数最优。
下面先从一个确定性的案例开始讲起，随后再扩展到随机的情况。
- 确定性的开环情况
环境首先提供一个初始的状态s1,然后智能体发出一系列的动作给环境，选择这一系列动作的过程就叫做规划。
- 随机性的开环情况
- 开环和闭环
开环的意思是指在单个动作发出之后不会接收到环境的反馈，必须连续做完所有的动作。闭环是指每一步动作发出之后都会接收到环境的反馈。在确定性的场景中，开环规划最适用，但在随机性的场景中，开环规划不是最好的方式，闭环规划才是最优选。
- 随机闭环情况
强化学习通常用来应对闭环的情况。
随机黑盒优化方法
随机黑盒优化方法的优缺点
优点：
- 并行时可以很快
- 非常简单
缺点：
-
离散的情况：蒙特卡罗树搜索
MCTS算法中，从哪一个节点开始搜索也很重要
image.png
轨迹优化（线性二次调节器LQR及其非线性扩展）
接下来讨论使用导数的轨迹优化
