cell state: 好比一个记忆器,可以不断遗忘一些知识记忆一些知识,实现每一步的输出都考虑到之前所有的输入。
遗忘门:
与
应该为同一维度,例如
与
维度为k, x维度为n, 则
维度为[k,k+n] ,
维度为k。即随着k的增大,保存的信息会越来越多,但是参数会指数级的增长。k(k+n)+ k
这就是第一步,对以往的信息进行选择性保留和遗忘。
记忆门:
为新生成的信息,
对其进行筛选,形成新的记忆。
合并遗忘门和记忆门,形成新的记忆。
输出门:
对输出数据进行筛选,tanh转化为[-1,1]之间,形成输出。
总的参数:4k(k + n + 1)