过去的模型都是一对一的。 一对多应用于image captioning。

many-to-one模型，应用于情感分类。

many-to-many模型，机器翻译。

many-to-many模型，video classification on frame level。

1. Sequential processing of non-sequence data

使用一系列"glimpses"进行图像分类，我的理解是对于每个数字，从一个点开始做一条连续的曲线组成这个数字，而glimpses用于捕捉各个时间点上的信息。

RNN就是要计算一个函数：

计算递归关系

Vanilla RNN

Encoder-Decoder：

Character-level Language Model：

生成文本的过程：根据h去预测下一个字符，接着该字符作为输入。

Backpropagation through time：

截断反向传播：

生成图片标题：

有一个起始的token，例如<START>，给生成隐藏状态的公式增加v的计算。增加第三个权重矩阵。然后将生成的y0作为输入继续计算。直道sample到结束符号<END>。有监督的训练。但是效果不是特别理想

增加Attention：

每次生成的是两个分布，一个是基于图片位置的分布，一个是基于词典的分布。

RNN的其他变形：

Vanilla RNN的梯度：

首先会流向tanh门，接着到权重矩阵。然而在时间纬度上的梯度传递会有问题：

使用gradient clipping来解决梯度爆炸。对于梯度消失，则需要修改RNN的结构---LSTM。

LSTM：

梯度传递：

cell状态的梯度传递只和f(forget gate)相关，而和W没有关系。