Neural Graph Collaborative Filtering

Wang X, He X, Wang M, et al. Neural Graph Collaborative Filtering[J]. arXiv preprint arXiv:1905.08108, 2019.

1 介绍

协同过滤(CF)有两个关键的点:

一个是如何表示用户和物品(embeding),embeding的表示在各种方法里都不相同,可以直接使用用户/物品ID表示embeding,也可以利用各种特征,经过神经网络MLP,获得embeding表示。
另一个是如何表示两者的交互(interaction),在MF中,直接使用用户与物品vector的点积表示交互(即一个鼠标点击广告的动作,或者购买该物品的历史)。

但是多数模型都没有通过利用user-item的交互来训练得到embeding,只使用了用户属性等基本描述性的特征。

如果要利用交互来获得embeding,存在的问题在于若使用user-item矩阵的形式表示交互,这样矩阵规模就非常的大,常常达到几百万量级,而且非常稀疏。

为了解决这个问题,论文中将交互转换为graph的形式,集中注意力在有过交互的物品上,例子如下图:

image.png

图中的用户u1是推荐的目标用户。右边的图看成是以u_1为根结点形成的一个树,这样对于u_1的预测,就由原来的i_1, i_2, i_3(first order)拓展到i_4, i_5(third order)这样的high order范围。

论文的主要贡献是提出了一种embeding propagation的方式,能够利用high order范围内的实体,训练得到用户和物品的embeding。

2 Model结构

NGCF一共包括三层,

  1. Embeding layer:表示user-item的look-up table

E=[\underbrace{e_{u_1}, e_{u_2}, \dots}_{N\ users},\underbrace{e_{i_1}, e_{i_1}}_{M\ items} ]^T

  1. Embedding Propagation Layers: 利用embeding进行多层的propagation
  2. Prediction layer:预测<u, i>的概率

整个网络的结构如图:

image.png

2.1 Embedding layer

这一层与主流的推荐模型的embeding layer一样,对于N个用户u,M个物品i,使用d维的向量来表示,形成下面的矩阵((N+M)\times d):
E = [e_{u_1}, \dots, e_{u_N},e_{i_1}, \dots, e_{u_M},]^T, e_u, e_i\ \in R^d
在实现中首次训练使用xavier initializer初始化。

2.2 Embedding Propagation Layers

2.2.1 First-order Propagation

2.2.1.1 Message Construction

对于一个用户u,我们首先可以直接使用那些与用户有直接交互的物品计算用户的embeding,表示为
m_{u\leftarrow i} = f(e_i, e_u, p_{ui})
m_{u\leftarrow i}称为物品i对于用户u的message embeding,f称为message encoding function,p_{ui}是系数,控制<u, i>这条path的权重。

具体的,m_{u\leftarrow i}表现为:
m_{u\leftarrow i} = \frac{1}{\sqrt{|N_{u}||N_{i}|}} \big( W_1 e_i + W_2 (e_i\odot e_u)\big),\ \ W_1, W_2 \in R^{d^{'}\times d}
\odot表示element wise乘法,N_{u},\ N_{i}分别表示与用户u和物品i直接有交互的物品或者用户数量。

\frac{1}{\sqrt{|N_{u}||N_{i}|}}就是 p_{ui}, 被称作graph Laplacian norm,它表示物品传递给用户的message的weight,可以这样理解,如果某个物品的N_i越小,表示这个物品越”独特“,越能够体现用户的个性偏好, p_{ui}增大;用户的N_u越小表示该用户的兴趣越”集中“,那么他的历史数据中的每个物品的 p_{ui}都应该增大,表示每个物品都能够较大的反映该用户偏好。

2.2.1.2 Message Aggregation

对于一个用户u的多个物品i,得到了多个传递过来的message embeding,需要使用一种聚合起来形成最终的用户embeding的方式,
e_u^{(1)} = LeakRelu\big( m_{u\leftarrow u} + \sum_{i \in N_u} m_{u\leftarrow i} \big),\\ m_{u\leftarrow u}=W_1 e_u
e_u^{(1)}是用户u经过第一次embeding propagation之后的embeding,可以看到最终聚合的方式是直接对所有的message embeding相加,最后联合原来的表示e_u,经过一个leak-relu就得到了最后的表示。

上面过程以单个用户u为例,介绍了一次embeding propagation的过程。这个过程对于物品i也是一样的。

单个用户进行一次propagation,与用户u直接相连的所有物品的”信息“传递到了用户u上。但这个过程是同时在所有的用户u和物品i都进行的。一次propagation,让每个用户和物品都得到了从与它们直接相连的实体的信息。如果在进行一次propagation,用户和物品目前包含了自己下层直连的信息,就又会传递给上级。也就实现了获取high order连接信息的目的。

2.2.2 High-order Propagation

在first order propagation的基础上,得到多次propagation的表示,
\begin{cases} e_u^{(l)} = LeakRelu\big( m_{u\leftarrow u}^{l} + \sum_{i \in N_u} m_{u\leftarrow i}^{l} \big),\\ m_{u\leftarrow u}^{l}=W_1^{l} e_u^{(l-1)},\\ m_{u\leftarrow i}^{l} = \frac{1}{\sqrt{|N_{u}||N_{i}|}} \big( W_1^{l} e_i^{(l-1)} + W_2^{l} (e_i^{(l-1)} \odot e_u^{(l-1)}) \big) \end{cases}

2.2.3 Propagation Rule in Matrix Form

之前的例子作用于所有的用户和物品,就得到了矩阵形式的表达,
E^{(l)} = LeakRelu \big( (L+I)E^{(l-1)} W_1^{l} + LE^{(l-1)} \odot E^{(l-1)} W_2^{l}\big)
其中L \in R^{(N+M)\times(N+M)}L_{ui}=\frac{1}{\sqrt{|N_{u}||N_{i}|}}

2.3 Model Prediction Layer

经过l次propagation,一个用户u,得到\{e_u^{1}, \dots ,e_u^{l}\},在本论文里,直接将l个d维的embeding concat到一起。
e^*_u =e_u^{0}|| \dots ||e_u^{l},\qquad e^*_i =e_i^{0}|| \dots ||e_i^{l}
那么最后对于用户u,物品i的得分通过求内积得到,
\hat{y}_{NGCF}(u,i) = (e^*_u)^T e^*_i

2.4 Optimization

损失函数为BPR(Bayesian Personalized Ranking) loss,
Loss = \sum_{(u, i, j)\in O}-ln\sigma(\hat{y}_{ui}-\hat{y}_{uj}) + \lambda {\lVert \theta \rVert}_2^2 \\ O = \{ (u, i, j)|(u, i)\in R^+,\ (u, j)\in R^- \}
使用Adam,early stoping。

为了防止过拟合,类似dropout方法,使用了两种dropout:

  1. Message dropout:以一定的概率p_1^{l},在进行第l次embeding propagation时,丢弃一些用户或物品message embeding 。message dropou作用于E^{(l)}
  2. Node dropout:以一定的概率p_2^{l},在进行第l次embeding propagation之前,丢弃上次产生的一些用户或物品的embeding 。实际是都使用了0.1概率。node dropout作用于L.

3 Eexperiments

在3个数据集上讨论了3个问题:

  1. 本文提出的NGCF和其它CF模型的比较
  2. NGCF不同超参数的影响
  3. 能够利用high order connectivity信息,对于用户和物品的表示的影响

3.1 Dataset

image.png

使用10-core形式,每个用户至少有10个历史交互数据。

80%的interaction为训练集,20%为测试集。

3.2 Experimental Settings

评估指标针对每个用户推荐K个物品,然后计算 recall@K,\ ndcg@K,默认情况下K设置为了20。

一些实验的超参数如下:

  • batch size:1024
  • embeding size:64
  • ndcf layer:3,[64, 64, 64]
  • dropout: 0.1
  • message dropout: 0.1

3.3 RQ1: comparison

3.3.1 Overall Comparison

对比了几个不同的CF算法如下

image.png

3.3.2 Comparison w.r.t. Interaction Sparsity Levels.

一个用户的推荐效果和这个用户的历史数据数量有很大的关系,如果交互的数量越少,越难推荐合适的物品,针对不同交互量用户分组进行了下图的研究。

image.png

图上能够看到在不同的分组下,NGCF都有最好的ndcg@20结果。

3.4 RQ2: Study of NGCF

3.4.1 Effect of Layer Numbers

针对NGCF不同层数产生的效果的研究,NGCF-4虽然在两个数据集上得到了较好的结果,但是提升并不大,而且参数数量增多,训练成本增加,也容易过拟合。

image.png

3.4.2 Effect of Embedding Propagation Layer and LayerAggregation Mechanism

对于embeding propagation的方式,进行了研究,

image.png

3.4.3 Effect of Dropout

研究在不同数据集下,node和message dropout不同数值对于结果的影响

image.png

结果显示多数情况下,相同概率的node dropout方式好于message dropout,而且node dropout方式得到的最好效果要优于message dropout。

一个可能的原因是node dropout会直接丢弃原来的node,这些node不会产生任何的效果,具有更强的鲁棒性。

3.5 RQ3: Effect of High-order Connectivity

为了研究利用high-order connectivity是否有效果,在Gowalla测试数据集中,截取6个用户和它们的物品在NGCF-1和NGCF-3下的embeding,利用t-SNE进行探究。

image.png

从图上可以看出来,在3-order下,一个用户和它的物品更加倾向形成一聚类,即通过它的物品,能够更好的反映用户的实际情况。这表示利用high-order起到了作用,能够更好的捕获协同信息。

4 Conclusion

论文的主要成果

  • 一种新的embeding propagation方式
  • 在三个数据集上进行的不同的研究

下一步方向

  • 现在每层的neighbor的权重都是一样的,可以考虑加入attention(在作者的下一篇论文KGAT中实现了)
  • 结合知识图谱(KGAT)
  • 结合social network,cross-feature等

不足

  • 单纯的使用了用户的历史交互信息,用户和物品的其它特征并没有利用,能否结合FM, NFM,得到更加丰富的embeding?
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,837评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,551评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,417评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,448评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,524评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,554评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,569评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,316评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,766评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,077评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,240评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,912评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,560评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,176评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,425评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,114评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,114评论 2 352

推荐阅读更多精彩内容