lstm优势

cell state: 好比一个记忆器,可以不断遗忘一些知识记忆一些知识,实现每一步的输出都考虑到之前所有的输入。

遗忘门:

hc应该为同一维度,例如hc维度为k, x维度为n, 则Wf维度为[k,k+n] ,bf维度为k。即随着k的增大,保存的信息会越来越多,但是参数会指数级的增长。k(k+n)+ k

这就是第一步,对以往的信息进行选择性保留和遗忘。
记忆门:

\tilde{~Ct} 为新生成的信息,it对其进行筛选,形成新的记忆。


合并遗忘门和记忆门,形成新的记忆。

输出门:

Ot对输出数据进行筛选,tanh转化为[-1,1]之间,形成输出。

总的参数:4k(k + n + 1)

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容