spinningup安装
Spinningup-----openmpi ----（mingw）gcc,g++编译器
安装过程常遇问题既解决方法https://www.jianshu.com/p/2a6b606d9ae4
常用命令行
仿真spinngup
python -m spinup.run ddpg --env vsbr2dir-v0
--exp_name try1
图
python -m spinup.run plot D:\anaconda3\envs\spinningup\data\vsbr2dir1\vsbr2dir1_s0
视频
python -m spinup.run test_policy D:\anaconda3\envs\spinningup\data\vsbr2dir\vsbr2dir_s0
#查看空间属性
print(env.action_space)
#> Discrete(2)
print(env.observation_space)
#> Box(4,)
#显示状态/动作空间范围
print(env.observation_space.high)
print(env.observation_space.low)
常遇报错
returned non-zero exitstatus 1.
多半是自己命令行代码命令敲错了，仔细检查
测试结果记录
1、DDPG方法
（1）7.4.3,这个平衡效果可以,每回合基本都是同一个方向和位置,速度也适中挺慢的, steps_per_epoch=1000，epochs=50
（2）
7.4.4 steps_per_epoch=5000，epochs=200,能平衡一定时间,速度很慢,效果可以
总是以左轮加速而倒.17回合之后,倒地就不会立刻重新开始,done的条件不对
python -m spinup.run test_policy
D:\anaconda3\envs\spinningup\data\test.7.4.4\test.7.4.4_s0
（3）Test7.5.1其他限制条件同2,运行距离极短，效果不好
PPO方法
（1）Test7.5.2，ppo算法，相对来说，也可以。没那么好，但算法运行快
（2）Test7.5.3 距离极短（相当于原地），效果不好
（3）Test 7.5.4,倒地不起的运动，说明此限制条件有误
TRPO方法
（1）Trpo Test7.8.1,原地，时间极短，效果不佳
SAC方法
算法相关介绍：http://m.elecfans.com/article/834892.html
（1）test7.8.2,平衡效果极佳，距离很长，segway下
（2）Test7.8.3 基本静止，运动幅度很小，完美！
python -m spinup.run test_policy d:\anaconda3\envs\spinningup\data\test7.8.3\test7.8.3_s0
TD3方法
（1）Test7.9.1效果一般，每次都超出边界
持续更新，目前看，sac方法完美契合此机器人，持续改进。
