本周任务：进一步调整模型，优化效果。
单向lstm神经网络已经不能满足我们的数据模型，由于标准的循环神经网络（RNN）在时序上处理序列，他们往往忽略了未来的上下文信息。一种很显而易见的解决办法是在输入和目标之间添加延迟，进而可以给网络一些时步来加入未来的上下文信息，也就是加入M时间帧的未来信息来一起预测输出。理论上，M可以非常大来捕获所有未来的可用信息，但事实上发现如果M过大，预测结果将会变差。这是因为网路把精力都集中记忆大量的输入信息，而导致将不同输入向量的预测知识联合的建模能力下降。因此，M的大小需要手动来调节。
所以需要修改模型的架构，采用了最近比较新的模型： 双向长短时记忆网络。首先需要介绍一下，双向循环神经网络（BRNN）的基本思想是提出每一个训练序列向前和向后分别是两个循环神经网络（RNN），而且这两个都连接着一个输出层。这个结构提供给输出层输入序列中每一个点的完整的过去和未来的上下文信息。下图展示的是一个沿着时间展开的双向循环神经网络。六个独特的权值在每一个时步被重复的利用，六个权值分别对应：输入到向前和向后隐含层（w1, w3），隐含层到隐含层自己（w2, w5），向前和向后隐含层到输出层（w4, w6）。值得注意的是：向前和向后隐含层之间没有信息流，这保证了展开图是非循环的。
而Bi-directional LSTM在上述基础上采用lstm单元，因为长短时记忆网络本身就是在历史记忆中添加一些权重，来保证遗忘的发生，增加了双向，同时，增强对未来上下文的预估。
实践，修改模型：其余参数不变，只需要修改神经元的定义函数即可：
def BiRNN(x, weights, biases):
x = tf.transpose(x, [1, 0, 2])
x = tf.reshape(x, [-1, n_inputs])
x = tf.split(x, n_steps)
lstm_fw_cell = tf.contrib.rnn.BasicLSTMCell(n_hidden_units, forget_bias = 1.0)
lstm_bw_cell = tf.contrib.rnn.BasicLSTMCell(n_hidden_units, forget_bias = 1.0)
outputs, _, _ = tf.contrib.rnn.static_bidirectional_rnn(lstm_fw_cell,
lstm_bw_cell, x,
dtype = tf.float32)
return tf.matmul(outputs[-1], weights['out']) + biases['out']def BiRNN(x, weights, biases):
x = tf.transpose(x, [1, 0, 2])
x = tf.reshape(x, [-1, n_inputs])
x = tf.split(x, n_steps)
lstm_fw_cell = tf.contrib.rnn.BasicLSTMCell(n_hidden_units, forget_bias = 1.0)
lstm_bw_cell = tf.contrib.rnn.BasicLSTMCell(n_hidden_units, forget_bias = 1.0)
outputs, _, _ = tf.contrib.rnn.static_bidirectional_rnn(lstm_fw_cell,
lstm_bw_cell, x,
dtype = tf.float32)
return tf.matmul(outputs[-1], weights['out']) + biases['out']
同样的，需要将批数据转置，因为要符合其矩阵乘的形式，我们可以得知n_steps*n_inputs是向量的长度，我们每次输入仅仅是1/n_steps的数据，而我们需要一整块向量来计算最终的结果，需要用上一次训练好的权重，偏执来计算，然后在这个基础上在进行拟合计算，可以根据lstm的结构看出。
随后，定义两个基础lstm单元，一个前向，一个后向，两个单元相互独立计算，最后结果在考量两个的取值，即可。
最后，考量双向lstm的效果
至此，项目模型已经完成，但依旧有很多可以提升的地方。
