rnn其实是一种总结状态机

对于给定数据序列{x0, x1, ..., xn-1},求xn,比较简洁的方法是

将{x0, x1, ..., xn-1}总结为sn-1,再利用sn-1求xn,

同理,对于求xn+1的问题,我们简化偷懒一下:
把sn-1连同xn拿来总结为sn,再由sn求xn+1

于是我们就有了一个新的序列{s0, s1, ..., sn},每一个si都是xi之前所有历史的总结。每次我们只要拿着si来求xi+1就行了,不费劲。

当然你会发现q(xn|x0, x1, ..., xn-1)很复杂,无法总结为全局一个q(xn|sn-1),结合上一篇文章,我们可知,不同的x0, x1, ..., xn-1值,可能会指向神经网络不同地方,得出完全不同的sn-1,然后每一个领域的s(n-1)与xn的映射关系各自管理。

所以rnn需要升级为“领域”总结状态机。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容