利用强化学习进行股票操作实战
今天开始利用强化学习实现股票操作。
我在网上找了一个简单的强化学习进行股票操作的例子，并在此基础上进行了小改动。
首先讲下建模的思路，当模型发出买入指令时，我们一次性全部买入；当模型发出卖出指令时则一次性全部卖出。模型只在一支股票上进行操作。模型我们选取Q-learning模型。（如果对Q-learning和DeepQ不了解的，建议先理解这两个模型，不然后面看不懂）
废话不多说直接上代码。
定义一个agent类
其初始化参数包括以下：
参数解释：
state_size: q-learning需要输入一个状态（目前环境状态），其大小表示状态的维度。
window_size: 在这里我们利用过去一段时间的收盘价表示输入的状态，window_size表示观测数据的时间窗大小。如果window_size=5，表示利用过去5天收盘价（包括当天）。
trend: 用于训练的数据，为历史收盘价数据
skip：操作频率
action_size: 3 (有买入、卖出、观望三种操作)
batch_size：神经网络训练的batch size
memory：记录一些历史操作
gamma、epsilon等：Q-learning中奖励衰减及动作选取中的贪婪系数
下面是Q网络的一些参数设置（输入是状态，输出是动作）
[图片上传失败...(image-6c9b6e-1582104154257)]
agent类中的一些函数
动作选择函数：
函数很好理解，以小概率随机选动作，以大概率选择最好的动作。
[图片上传失败...(image-62db7-1582104154257)]
获得状态函数：（注释已解释的比较清楚）
replay函数：主要用于更新Q网络
这里主要说明一下在计算loss时传入的参数。Q-learning算法中需要新Q和原Q的差值来更新Q表。在这里我们也类似，用新Q和原Q的差值更新Q网络。
下图一段代码为获得新Q值，
[图片上传失败...(image-2b1d10-1582104154257)]
在计算loss时，将当前状态与新Q的值输入进去。tf的网络流程中会利用X（当前状态）获得原Q值，Y是新Q值，利用这两个Q的差值更新网络，loss计算可以看参数定义里面。
[图片上传失败...(image-a39021-1582104154257)]
训练代码：（核心代码，最重要的地方）
部分参数解释：
Inventory：存储过去的一些操作
last_value：上一天的总市值（包括剩余资金及持有股票）
maket_value:当天的总市值
hold_money:持有的现金
hold_num:持有的股票数量
部分代码解释：
循环每日状态
[图片上传失败...(image-e7f5cb-1582104154257)]
如果返回的action是买入操作，则计算可买入的数量，更新股票市值和剩余现金。（不考虑印花税啥的，还没来得及加）
[图片上传失败...(image-b3412e-1582104154257)]
如果action是卖出操作，则全部卖出，更新剩余现金和股票市值。
[图片上传失败...(image-237730-1582104154257)]
每天都计算一次总市值，更新与上一天相比获得的利润（用作Q-learning的reward），将每天的操作存储起来，每天都更新一次网络。
[图片上传失败...(image-f01cad-1582104154257)]
Buy函数（用于测试）：
里面很多东西与train函数类似，不再解释。
主函数代码：
测试结果
总收益达到了27.22%（这个结果没啥用，看看就好）
结语
这个版本的强化学习，还有很多漏洞，有很多地方需要完善。在接下来的时间里将会把问题考虑更细致，不断完善强化学习模型。
代码github：
https://github.com/wbbhcb/stock_market
代码参考：
https://blog.csdn.net/qq_39388410/article/details/94395020（与这个csdn博客代码几乎一致，修改了部分操作）
对量化、数据挖掘、深度学习感兴趣的可以关注公众号，本人不定期分享有关这些方面的研究。
