门控循环单元（GRU）
门控循环神经网络可以更好地捕捉时间序列中时间步距离较大的依赖关系
门控循环单元引入了门的概念，从而修改了循环神经网络中隐藏状态的计算方式
它包括重置门、更新门、候选隐藏状态和隐藏状态
重置门有助于捕捉时间序列里短期的依赖关系
更新门有助于捕捉时间序列里长期的依赖关系
长短期记忆（LSTM）
长短期记忆的隐藏层输出包括隐藏状态和记忆细胞，只有隐藏状态会传递到输出层
长短期记忆的输入门、遗忘门和输出门可以控制信息的流动
长短期记忆可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时间序列中时间步距离较大的依赖关系
深度循环神经网络
在深度循环神经网络中，隐藏状态的信息不断传递至当前层的下一时间步和当前时间步的下一层
双向循环神经网络
双向循环神经网络在每个时间步的隐藏状态同时取决于该时间步之前和之后的子序列（包括当前时间步的输入）
