2018 · ICLR · SKIP RNN: LEARNING TO SKIP STATE UPDATES IN RECURRENT NEURAL NETWORKS
想法来源：为了解决RNN训练速度慢，在长序列问题上表现不佳。
价值：
方法：rnn中添加了一个离散的skip门。在跟新这个门的更新方法上用了上下步关联的方法。
缺点：离散问题用了RL和均匀分布解决，不可以的。
详细方案：
-c450
其中S(s, x)可以看做是RNN，
image
其中离散化的可以用伯努利分布或者RL，如果用RL，反向传播的时候，梯度设置为1。相当于是GP，没有用到reward。
数据集：
- MNIST
- IMDB
实验：
文章中的主要实验大多是在比较时间成本和运算成本
ADDING TASK：作者说这个初始的LSTM中的实验数据，对每一个单词序列都标注了是够该被忽略。FLOPs是浮点运算。
-c500
分类任务MNIST
-c500
IMDB
-c500
