参考链接：https://datawhalechina.github.io/unusual-deep-learning/

一、前言

循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。
主要应用于以下场景：
文本：字母和词汇的序列；
语音：音节的序列；
视频：图像帧的序列；
时态数据：气象观测数据，股票交易数据、房价数据等。

二、长短时记忆网络（LSTM）

LSTM于1997年被Sepp Hochreiter 和Jürgen Schmidhuber提出来，它是一种用于深度学习领域的人工循环神经网络结构。其中，一个LSTM单元由输入门、输出门和遗忘门组成，三个门控制信息进出单元。

image.png

• 1、LSTM依靠贯穿隐藏层的细胞状态实现隐藏单元之间的信息传递，其中只有少量的线性操作；
• 2、LSTM引入了“门”机制对细胞状态信息进行添加或删除，由此实现长程记忆；
• 3、“门”机制由一个Sigmoid激活函数层和一个向量点乘操作组成，Sigmoid层的输出控制了信息传递的比例。

输入门
LSTM通过输入门(input gate)实现对细胞状态输入接收程度的控制，输出当前输入信息的接受权重。
输出门
LSTM通过输出门(output gate)实现对细胞状态输出认可程度的控制，输出当前输出信息的认可权重。
遗忘门
LSTM通过遗忘门(forget gate)实现对细胞状态信息遗忘程度的控制，输出当前状态的遗忘权重。
状态更新
“门”机制对细胞状态信息进行添加或删除，由此实现长程记忆。

三、其他循环神经网络

3.1 Gated Recurrent Unit(GRU)

Gated Recurrent Unit (GRU)，在2014年提出，它的细胞状态与隐状态合并，在计算当前时刻新信息的方法和LSTM有 所不同；GRU只包含重置门和更新门；在音乐建模与语音信号建模领域与LSTM具有相似的性能，但是参数更少，只有两个门控。

3.2 Bi-directional RNN(双向RNN)

假设当前t的输出不仅仅和之前的序列有关，并且还与之后的序列有关，例如：完形填空，它由两个RNNs上下叠加在一起组成，输出由这两个RNNs的隐藏层的状态决定。

四、主要应用

1、语音模型：根据之前和当前词预测下一个单词或者字母。
2、自动作曲：试图使用某个形式化的过程，以使人（或作曲家）在利用计算机进行音乐创作时的介入程度达到最小的研究。

五、总结

循环神经网络与卷积神经网络的主要区别在循环层上。卷积神经网络没有时序性的概念，输入直接和输出挂钩；循环神经网络具有时序性，当前决策跟前一次决策有关。