Comirec

1.胶囊网络


胶囊网络与传统的神经网络一个是标量神经元,一个是向量神经元。

2.原始胶囊网络

2.Comirec - DR


在这里Comirec-DR也是同样的使用了胶囊网络中的动态路由算法来对其进行多兴趣表征的提取。

首先,我们记输入的序列为 ei,其中每一个item可以看作为一个胶囊,所提取出的多兴趣表征为 vj,其中每一个兴趣向量也可以看作是一个胶囊。r表示用户行为序列的长度,K表示所提取出的多兴趣向量的个数。

1.第一行对输入序列胶囊i与所产生的兴趣胶囊j的权重bij,bij初始化为0

2.第二行开始进行动态路由,这里和MIND一样,我们同样进行三次动态路由

3.第三行是对每一个序列胶囊i对应的所有兴趣胶囊j的权重bij进行Softmax归一化

4.第四行是对每一个兴趣胶囊j对应所有的序列胶囊i执行第四行中的计算,这里要注意Wij是序列胶囊i到兴趣胶囊j的映射矩阵,这样就完成了对序列到单个兴趣胶囊的特征提取,以此类推我们可以得到所有的兴趣胶囊

5.我们这里对4中得到的兴趣胶囊的表征通过squash激活函数激活


6.最后我们通过第6行中的公式来更新bij

7.至此就完成了一次动态路由,我们将这个过程重复三次就得到了完整的动态路由,也就完成了多兴趣表征的建模

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容