RNN
- RNN 是一种利用神经网络对序列模型的通用模型
- 利用历史信息结合当前输入进行预测
- 适合解决时间序列输入输出问题，对于 NLP 来说就是序列标注问题，这就是 NLP 中最常见的问题。
RNN 梯度消失问题。
RNN是可以实现长时间记忆的。然而RNN反向求导会出现梯度弥散，导致我们很难训练网络，对于长时刻记忆总不尽人意，于是就诞生了LSTM。
LSTM
- 与 RNN 结构是一样的，只是对隐层单元内部结构进行了复杂化改造。
双向 LSTM
双向LSTM性能普遍优于单向LSTM
- 考虑了更多的上下文信息
RNN做应用典型的优化流程
- 先上 RNN 模型
- 优化成 LSTM 模型
- 优化 BIRNN 模型，增加特征输入
- 优化深度网络，多层LSTM模型叠加
- 引入 Attention Model
