这也是最近一个星期我一直在跟学姐搞的一个项目了,很多金融方面的知识丢掉不提,主要是运用深度强化学习的方法来预测股指期货. 最近一个星期我主要是负责了部分的代码开发, CNN,RNN学习以及tensorflow使用. 代码最近我和学姐都搞得有点头疼,感觉思路理的不是很清楚,所以在这里理一下.
目标
给定一系列股指期货数据, 抓取一段时间(现在是以分钟为单位,总时间大约为2个月左右)的股指期货数据,存起来用以给DRL(深度强化学习)网络作为训练. 采用的方法主要是A3C和DRL金融知识的结合.
代码初步
输入
- 给定的股指期货数据
- learning_rate(学习率)
- num_layers(网络层数)
- num_step(每次训练轨迹所用的state)
- hidden_size(RNN的h)
- batch_size(训练轨迹数量)
模型构建(lmmodel)
Agent模型
数据初始化
def __init__(self, fileName, m, numstep, batchSize):
self.action_space = [-1, 0, 1] //表示面对股指期货数据的三种选择
self.m = m //表示一个state包含的维度
self.numstep = numstep //表示一次训练所用state数量
self.batchSize = batchSize //表示训练的次数
self.state = []
初始化状态量(state)
f = open(fileName, 'r')
self.dataBase = f.readline()
self.dataBase = self.dataBase.split(',')
self.dataBase.pop()
for i in range(len(self.dataBase)):
self.dataBase[i] = float(self.dataBase[i])
for i in range(1, len(self.dataBase)):
self.dataBase[i] = self.dataBase[i] - self.dataBase[i - 1]
for i in range(self.m - 1, len(self.dataBase)):
state_tmp = self.dataBase[i - m + 1:i + \
1] if i >= self.m - 1 else self.dataBase[0:i]
self.state.append(state_tmp)
self.state = self.state[m - 1:]
lmmodel模型
数据初始化:
该模型继承了Agent模型
def __init__(self,config):
#self._input = input_
super(lmmodel,self).__init__('data/IF1601.CFE.csv', 20, 120, 100) /
self.config=config
self.sess = tf.InteractiveSession()
self.batchsize=1 #batchsize
self.numsteps=120 #120 price sequence
self.hiddensize=20 #20features
self.actionsize=3
网络构建
模型初始化
self.states = tf.placeholder(tf.float32,shape=[None,self.numsteps, self.hiddensize],name= "states")
self.actions_taken = tf.placeholder(tf.float32,shape=[None],name= "actions_taken")
self.critic_feedback = tf.placeholder(tf.float32,shape=[None],name= "critic_feedback")
self.critic_rewards = tf.placeholder(tf.float32,shape=[None],name= "critic_rewards")
定义一个lstm细胞
def lstm_cell(size):
return tf.contrib.rnn.BasicLSTMCell(size, forget_bias=0.0, state_is_tuple=True)
对初始数据设置的全连接层
with tf.variable_scope("actor") :
L1= tf.contrib.layers.fully_connected(
inputs=self.states,
num_outputs=self.hiddensize, #hidden
activation_fn=tf.tanh,
weights_initializer=tf.random_normal_initializer(),
biases_initializer=tf.zeros_initializer()
)
全连接层之后通过LSTM:
LSTM为5层
经过LSTM返回一个(numstep * batchsize) * hiddensize 的一个二维矩阵
其中这个矩阵数轴排列如下:
首先是第一个batch的numstep个state,
再是第二个batch的numstep个state...
state = cell.zero_state(self.numsteps, tf.float32) #batchsize*hidden cells
outputs = []
with tf.variable_scope("testScope"):
for time_step in range(self.batchSize):#batchsize
if time_step > 0: tf.get_variable_scope().reuse_variables()
(cell_output, state) = cell(L1[time_step,:,:], state)
outputs.append(cell_output)
output = tf.reshape(tf.concat(axis=0, values=outputs), [-1, self.hiddensize])
再经过softmax得到loss function:
softmax_w = tf.get_variable( "softmax_w", [20, 3], dtype=tf.float32)
softmax_b = tf.get_variable("softmax_b", [3], dtype=tf.float32)
logits = tf.matmul(output, softmax_w) + softmax_b
self.probs = tf.nn.softmax(logits,name="action")
反馈与优化:
policyloss = tf.log(self.action0)*(self.critic_rewards-self.critic_feedback)
loss = tf.negative(tf.reduce_mean(policyloss),name="loss")
#with tf.variable_scope("actor-train"):
self.actor_train = tf.train.AdamOptimizer(0.01).minimize(loss)
以上是A3C中的actor网络更新与反馈
暂时还是不是很懂这里的crtic_reward 和critic_feedback 的意义是什么,晚上回实验室去问问学姐. 理论上actor网络应该时更新策略的, 意思是指, 更新每种state下选择每种action的概率. 但是这里...就很奇怪了..
crtic网络与上面网络本质差异不大.,不多说了,暂时更新到这,感觉学姐很多地方还是没理清楚...
