对于给定数据序列{x0, x1, ..., xn-1},求xn,比较简洁的方法是
将{x0, x1, ..., xn-1}总结为sn-1,再利用sn-1求xn,
同理,对于求xn+1的问题,我们简化偷懒一下:
把sn-1连同xn拿来总结为sn,再由sn求xn+1
于是我们就有了一个新的序列{s0, s1, ..., sn},每一个si都是xi之前所有历史的总结。每次我们只要拿着si来求xi+1就行了,不费劲。
当然你会发现q(xn|x0, x1, ..., xn-1)很复杂,无法总结为全局一个q(xn|sn-1),结合上一篇文章,我们可知,不同的x0, x1, ..., xn-1值,可能会指向神经网络不同地方,得出完全不同的sn-1,然后每一个领域的s(n-1)与xn的映射关系各自管理。
所以rnn需要升级为“领域”总结状态机。