BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
- 阿里的文章，用BERT做序列推荐
- 但是BERT不像RNN一样是从左到右的对序列建模，本文有个假设，就是用户历史行为的顺序对推荐下一个不是那么重要
- 然后就是直接套用BERT，输入序列包括历史序列和mask，会像BERT预训练那样随机mask掉序列中的某些item，然后预测mask掉的item，所以在序列的最后一个加一个mask，预测出来的就是下一个推荐的item课
- 主要贡献：把BERT用到序列推荐中了。
Multi-Interest Network with Dynamic Routing for Recommendation at Tmall
- 阿里的文章，天猫的推荐系统，学习用户兴趣表示
- 用到了胶囊网络的思想，学习用户的多个表示
- 以前的工作都是学习用户的一个固定长度的表示，这样做限制了表示能力
- 用户在一段时间内的兴趣也可能是有多种多样的，所以本文学习用户的多个表示，用来表示多个兴趣
-
具体地，通过用户的历史行为序列，利用胶囊网络，从n个历史item中提取出m个用户兴趣表示，就是下图中的Multi-Interest Extractor Layer。
整体框架图 - 然后通过attention得到最后的预测值
- 主要贡献：提出需要多个用户兴趣表示，然后把胶囊网络的用来提取用户的多个表示
AutoInt: Automatic Feature Interaction Learning via
Self-Attentive Neural Networks
- 做自动特征交叉，但思想跟FM不一样
-
本文就是把多个特征映射到同一个向量空间，然后用Multi-head Self Attention层来让特征自动交叉
整体框架图 - 主要贡献：提出了用Multi-head Self Attention来做特征交叉的观点。
Deep Learning Recommendation Model for Personalization and Recommendation Systems
- Facebook的文章
- 提出一个深度学习做个性化推荐系统的框架
- 建模的整体流程就是Embedding+FM+MLP+MF+MLP这样
- 然后还做了并行化，用PyTorch和Caffe2都实现了。
- 没太细看
[KDD 2019] Characterizing and Forecasting User Engagement with In-app Action Graph: A Case Study of Snapchat
- 描述和预测用户在一个APP里面的的参与度
- 对Snapchat做的一个Case Study
- 本文通过用户的历史活跃情况能够预测未来的活跃情况
[KDD 2019] A User-Centered Concept Mining System for Query and Document Understanding at Tencent
- 腾讯的文章，以用户为中心的概念挖掘系统
- 例如在搜索引擎中，通过用户输入的query理解用户的意图是很重要的，不同的用户输入相同的query，意图可能不一样
- 通过挖掘大量的用户log，在符合用户兴趣的适当粒度上提取以用户为中心的概念，所提取的概念具有适当的粒度，与用户语言风格一致，并且是动态更新的
- 还介绍了使用以用户为中心的概念标记文档的技术，以及构造主题-概念-实例分类法
[IJCAI 2019] Representation Learning-Assisted Click-Through Rate Prediction
- 阿里的文章，学习特征的表示，做CTR预估
-
传统的方法都是直接把特征拿来直接做估计，而本文增加了几个任务来更好的学习特征的表示
传统的方法和本文的方法 -
本文训练时候同时训练3个任务：CTR预测、User-Item匹配、Item-Item相关。3个任务都能来学习特征的表示
整体框架图 - CTR预测任务，就是用特征拼起来通过MLP得到CTR的预测值
- User-Item匹配，就是用User的表示、Item的表示做点积，来拟合user是否点击了item
- Item-Item相关，就是预测两个item时候同时出现在一个用户行为序列的窗口中
- 训练时候同时优化这3个loss，预测时候只看CTR预测任务的值
主要贡献：用了两个辅助任务来帮助user表示和item表示的学习 - 个人认为User-Item匹配的任务和CTR预测任务是重复了的，因为他们预测的目标是一样的。但是他们的建模方式不一样，一个是dot，一个是拼接，所以同时用这两个任务可能也是有用的，实验也证明了是有用的。
