ICLR2019
Please click here for GitHub link.
Introduction
Ordered Neurons（有序神经元）可以使LSTM模型能够执行树状组合而不会破坏其顺序形式。它可以通过控制神经元的更新频率来动态分配神经元，以表示不同的时间尺度依赖性
ON-LSTM Cell
- 部分公式与 标准LSTM 相同
其中，到
部分的关键公式将在下文给出。
Activation function: cumax()
g 可以看作一个 binary gate：g = (0, ..., 0, 1, ..., 1)
设 d 为 binary gate 0 和 1 的分界点，那么各个点为d的概率：
因此在 g 中第 k 个点之前存在 d 的概率，即第k个点为1的概率为：
Structured Gating Mechanism
-
Master forget gate & master input gate
master forget gate 是一个 从 0 到 1 增长的向量，master input gate 是一个从 1 到 0 下降的向量。
为 master forget gate 和 master input gate 的重叠部分。
每当存在重叠时，对应的神经元段编码包含一些先前和当前输入的不完全成分。
由于这些成分是不完整的，所以该段由和
在标准LSTM模型中进一步控制，以便在块内实现更细粒度的操作。
Experience
在 language modeling, unsupervised constituency parsing, targeted syntactic evaluation (Marvin & Linzen, 2018) 和 logical inference 中取得了较其他RNNs更好的效果。
