一种用于顺序推荐的多粒度神经模型

与利用注意机制和RNN的传统序列模型相比，最近的研究主要遵循两个方向进行改进：多兴趣学习和图卷积聚合。具体而言，ComiRec和MIMN等多兴趣方法侧重于通过执行历史项目聚类来提取用户的不同兴趣，而TGSRec和SURGE等图卷积方法则选择基于历史项目之间的多级相关性来优化用户偏好。不幸的是，他们都没有意识到这两种类型的解决方案可以相互补充，通过聚合多级用户偏好来实现更精确的多兴趣提取以获得更好的推荐。为此，本文将多兴趣学习与图卷积聚合相结合，提出了一种统一的多粒度神经模型（MGNM）。具体来说，MGNM首先为用户学习历史项目的图结构和信息聚合路径。然后，它执行图卷积，以迭代方式导出项目表示，从而可以很好地捕获不同级别的复杂首选项。然后，提出了一种新的序列胶囊网络，将序列模式注入到多兴趣提取过程中，从而以多粒度的方式实现更精确的兴趣学习。

1 introduction

图中用户a同时产生两个兴趣：游戏和体育，用户b的交互历史中有两个不同的兴趣级别：粗粒度（卡通）、细粒度（Tom and Jerry）

1.作者提出利用多兴趣学习和图卷积聚合的优点来提高推荐性能。具体而言，MGNM通过将多级偏好组合和多兴趣分解集成到一个统一的框架中，可以实现多粒度的用户偏好学习。

2.我们设计了一种可学习的图构造机制来区分复杂用户行为。此外，还提出了一种序列胶囊网络来利用时间信息进行更好的多兴趣提取。

3 方法

多粒度神经模型（MGNM）由两个主要的组件组成：用户感知图卷积和序列胶囊网络。

原始序列是用户的历史行为。通过将原始序列转化为用户感知的自适应图，并利用序列CapsNet的神经聚合功能，在训练过程中将时序信息添加到图中。在模型的推理阶段，使用最大池层来获得最终的预测分数。

用户感知图卷积

嵌入层:构造用户嵌入表 $U\in R^{N\times d}$ (编码用户的总体偏好)和项目嵌入表 $V\in R^{M\times d}$ （表示项目的特征）,相应的用户和项目嵌入表示分别为 $x_{u}$ 和 $[x_{1},x_{2},...,x_{m} ]$ 。

图构造：给定用户u的历史行为序列 $b_{u}=[x_{1},x_{2},...,x_{m} ]$ ，将其组成项转化为无向连通图，由于会话中的重复信息代表了用户的偏好，所以保留序列中的重复项。定义 $A\in R^{m\times m}$ 为邻接矩阵， $A_{i,j}$ 表示为用户u中xi和xj的连接。根据隐藏特征学习这种相关性： $A_{i,j}=sigmoid((x_{i}\odot x_{j})\cdot x_u )$ ,用户嵌入用来实现基于用户的图形构造。(对不同的用户，同一项目对可能具有不同的关联度值)

图卷积：在每个层中合成的项目表示可以更精确的反映用户的不同偏好。

H^{(l)}

为l层的项目聚合表示，

\delta (\cdot )

为非线性的LeakyRELU,I表示为添加自循环传播的单位矩阵，W为参数，D表示为A的度矩阵

顺序胶囊网络：在提取多级项目表示{ $H^{(0)}, ...,H^{(L)}$ }之后,其中 $H^l=[h_{1}^l,..., h_{m}^l]$ , $h_{i}^l \in R^d$ ，用CapsNet生成用户每层的多注意力。现有的基于多兴趣的推荐工作是利用CapsNet通过内置的动态路由机制来合成每个兴趣表示。每个胶囊的输出相当于特定用户的兴趣。然而，标准的动态路由机制主要实现迭代软聚类的功能。经过充分验证，时间信息对于顺序推荐至关重要。这就是为什么CapsNet在微调CTR任务中的应用受到限制的原因。我们通过为CapsNet引入一个顺序编码层来解决这个缺陷。给定l层的项目表示，第i个胶囊首先在 $H^l$ 上的线性投影：