学了有一会儿RL，总觉得需要动手运行几个Demo才过瘾，Gym就提供了很好的平台，降低了实验RL的门槛。
OpenAI Gym是一款用于研发和比较强化学习算法的工具包。与其他的数值计算库兼容，如tensorflow 或者theano 库。现在主要支持的是python 语言。它可以支持训练智能体（agent）做任何事——从行走到玩Pong或围棋之类的游戏都在范围中。官方提供的gym文档。
1. 安装环境（MacOS下）
Gym目前只支持Linux和Mac，所以Windows的朋友们就先在虚拟机上玩一玩啦。
- Step1 先确保安装好homebrew和Xcode，Xcode最好升级到最新版并安装命令行工具。可以检查一下两个都安装了没
（1）国内安装homebrew会很心累的，强烈推荐一篇安装教程把源都换成中科院的源（亲测可用）：https://blog.csdn.net/qq_35624642/article/details/79682979
（2）xcode安装好了之后可以省掉很多编译器的安装。在Appstore下载安装好xcode后再安装一下xcode-select。xcode-select --install
brew --version
xcode-select --version
- Step2 安装Python3
（1）安装homebrew是为了安装Python3。Mac默认的安装版本是2.7.X，但是未来的趋势将会是python3，python2只会维护到2020年。由于MacOS依赖2.7的python，所以不能改动默认的python版本。用brew就可以方便的兼容两者。python3自带pip3。注意检查python需要3.5以上版本。强烈注意：这一步做完之后请参考这篇博客，把python降级为python3.6，目前还不支持最新的python3，可能不久的将来会支持，反正遇到问题思考一下可能是python版本的问题
brew install python3
python3 --version
pip3 --version
- Step3 安装gym工具包，不带
--user会有权限问题，建议带上，安装后根据提示把/Users/${youname}/Library/Python/3.7/bin放到PATH目录下。后面需要下载全套代码再考虑(all)参数
pip3 install gym --user
环境就这么简单配好啦！
2. 安装Gym
官网入门指南就直接有配环境和下载代码的手把手步骤，非常清晰。代码直接从git库下载下来。
git clone https://github.com/openai/gym
cd gym
pip3 install -e .
可以稍后运行pip3 install -e '.[all]'来执行包含所有环境的完整安装。 这需要安装几个更复杂的依赖项，包括cmake和最近的pip版本。
记录遇到的问题
（1）运行pip install -e. [all]遇到matplotlib的1.3.1版本需要nose、tornado，另外numpy的版本1.8.0rc1不匹配。参考这篇博文使用了命令强行升级numpy，然后安装另外两个。
sudo pip install --ignore-installed numpy
sudo easy_install nose
sudo easy_install tornado
（2）还是失败，根据git库的README文档安装了一些依赖
brew install cmake boost boost-python sdl2 swig wget
brew install boost-python --with-python3
（3）最后才想起，我是用pip3安装的gym，赶紧把pip install改成pip3。终于显示安装gym成功.
（4）运行
pip3 install -e '.[all]'的时候发现没有安装MuJoCo，参考这篇博客可以先把gym/setup.py的mujoco和robotics选项注释掉，后面需要的话用pip install -e '.[mujoco]'重新安装。
3. 编写和运行第一个demo
首先可以试一下最简单的一个CartPole-v0环境，下面的代码包含了1000次渲染环境的代码，使用的是最简单的随机步骤（当然这种算法一定无法收敛）。
#demo.py
import gym
env = gym.make('CartPole-v0')
env.reset()
for _ in range(1000):
env.render()
env.step(env.action_space.sample()) # take a random action
运行例子出现灰屏问题
运行pip3 install tensorflow发现自己python3.7版本太高，用这篇博客的方法降级到Python3.6。然后把重新安装了gym，没有安装tensorflow就解决了白屏问题，这坑爹的3.7...
运行python3 demo.py后就可以看到一个窗口弹出呈现经典的车竿问题。
