LSTM

sigmoid 用在了各种gate上，产生0~1之间的值，这个一般只有sigmoid最直接了。

tanh 用在了状态和输出上，是对数据的处理，这个用其他激活函数或许也可以。

LSTM细胞

逐步了解LSTM

1）决定丢弃信息

决定从细胞状态中丢弃什么信息，需要一个"遗忘门"

f_t=\sigma (W_f \cdot [h_{t-1},x_t]+b_t)

2）确定更新信息

确定什么样的新信息被存放在细胞状态中

i_t=\sigma (W_i \cdot [h_{h-1},x_t]+b_i)

\tilde{C} _t=\tanh (W_c \cdot [h_{t-1},x_t]+b_c)

3）更新细胞状态

C_t=f_t*C_{t-1}+i_t*\tilde{C_t}

4）输出信息

o_t=\sigma (W_o \cdot [h_{t-1},x_t]+b_o)

h_t=o_t*\tanh (C_t)


变体GRU

GRU细胞

完毕。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容