最近一直在看关于循环神经网络的一些知识，其中LSTM是循环神经网络最有希望的一种，这里就总结一下
LSTM
LSTM是Long short-term Memory的缩写，直接翻译就是长短期记忆网络。循环神经网络的好处在于可以有记忆性，通过增加一个自反馈的连接，神经元当前的状态是由输入和神经元上一个状态共同决定的，这就是记忆的解释。但是这种结构有一个不好的地方，在于间隔较长时间的状态对后续状态没有影响，假设神经元上一状态对现在的状态影响是0.9，那么神经元上上一状态对现在状态影响就只有0.81了，以此类推，间隔了很长时间之后，这些影响都会消失。但在实际运用中，有些有用的信息虽然间隔很长，但是依然需要被记住，这就需要神经元具有长时间的记忆，LSTM就是通过构建一种记忆单元来保证这些信息被保留。
LSTM具有记忆单元，这个单元决定输入的信息哪一些需要被遗忘，哪一些需要被记住。详细内容可以见参考资料
LSTM构建Autoencoder
Autoencoder中文意思是自动编码器，其主要的思想类似于PCA。通过神经网络将原始数据映射到一个低维空间（也可是高维稀疏），从低维空间再重构原始数据。因为特征空间的维度是低于原始数据的，所以特征具有某些意义，类似于PCA中主成分。
时间序列数据通过LSTM映射到了一组特征向量之中，然后另外一个LSTM从特征向量中将时间序列数据重新重构出来。
Autoencoder with LSTM (return_sequence = FALSE)
这里用keras来编写代码，由于encoder的输出仅仅是一个向量（因为输出选择return_sequence = FALSE），所以需要RepeatVector来补齐decoder需要的输入，然后输出选择序列输出，得到我们重构的变量
from keras.layers import Input, LSTM, RepeatVector
from keras.models import Model
inputs = Input(shape=(timesteps, input_dim))
encoded = LSTM(latent_dim)(inputs)
decoded = RepeatVector(timesteps)(encoded)
decoded = LSTM(input_dim, return_sequences=True)(decoded)
sequence_autoencoder = Model(inputs, decoded)
encoder = Model(inputs, encoded)
sequence_autoencoder.compile(optimizer = "sgd", loss = "mean_squared_error",metrics=['accuracy'])
# train
np.random.seed(5)
history = sequence_autoencoder.fit(normal_scale, normal_scale,epochs = 5000, batch_size = 128, shuffle =True)
Autoencoder with LSTM (return_sequence = True)
当然也可以直接设定encoder的输出为序列，此时输出的序列为encoder每一个状态下的输出，也就是LSTM单元图中的[h_t-1, h_t,h_t+1]，所以这个时候就不需要RepeatVector了
from keras.layers import Input, LSTM, RepeatVector
from keras.models import Model
inputs = Input(shape=(timesteps, input_dim))
encoded = LSTM(latent_dim)(inputs)
decoded = LSTM(input_dim, return_sequences=True)(encoded)
sequence_autoencoder = Model(inputs, decoded)
encoder = Model(inputs, encoded)
sequence_autoencoder.compile(optimizer = "sgd", loss = "mean_squared_error",metrics=['accuracy'])
# train
np.random.seed(5)
history = sequence_autoencoder.fit(normal_scale, normal_scale,epochs = 5000, batch_size = 128, shuffle =True)
Bidirection RNN
对于一些语言类的问题来说，当前的状态不仅仅与之前的句子有关系，可能还与之后的句子有关系，所以在建立模型的时候有必要考虑前后的信息，这样子一个双向的RNN就显得有必要了。模型有两个RNN，一个RNN输入的是正序的序列，另外一个RNN输入的是倒序的序列，最后将两个RNN的输出整合在一起，得到最终输出。根据这个思路也可以建立Bidirection RNN。
