[AAAI 2018] ATRank An Attention-Based User Behavior Modeling Framework for recommendation
- 阿里的文章，用户行为建模
- 按行为类别分为很多类，每个类里面的行为有不同维度的Embedding，行为是无序的，但是Embedding里面有时间信息
- 然后把每个行为Embedding映射到一个相同维度的语义空间，再接上self Attention层处理序列，再用候选行为对序列做Attention得到最后的表示
-
最后用DNN得出该候选行为的得分，用ranking loss优化
整体框架图
[IJCAI 2018] Sequential Recommender System based on Hierarchical Attention Network
- 序列推荐，用两层Attention结构
- 把历史序列按时间段分为多个不相交的段，最近一段的item当做短期兴趣，其他的为长期兴趣
- 第一层Attention对长期的item做Attention，得到长期的表示，把这个表示并到短期item一起
-
第二层Attention对短期item凹Attention，得到最后的表示
整体框架图
[IJCAI 2019] pre-training of graph augmented transformers for medication recommendation
- 用图增广的BERT预训练药物的Embedding
- 考虑药物的分类知识作为graph
- 从graph中的父节点&子节点得到item Embedding
- 用BERT预训练item Embedding
- 然后把序列平均起来，输入分类网络来fine-tune
整体框架图
[IEEE Access 2019] Transformer-Based Neural Network for Answer Selection in Question Answering
- Transformer应用到QA上面
- 就是self Attention+BiLSTM得到question和answer的表示
- 最后算cosine相似度，用ranking loss
-
没有Q-A之间的交互
整体框架图
[KDD 2019] Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction
- 广告CTR预估
-
考虑了时间-空间信息，时间就是用户历史点了和没点的广告，空间就是在待预测广告之上的同一页面的其他广告
时空信息 - 这样就有了3个序列：当前的其他广告，历史点了的，历史没点的
-
3个序列分别与当前广告做交互，得到融合的表示，最后加起来得到整体的表示
整体框架图
[KDD, 2019] Towards Knowledge-Based Personalized Product Description Generation in E-commerce
- 个性化的商品描述生成
- 把知识库和商品属性加进去了，商品属性中有用户信息
-
然后就是用transformer框架生成文本
整体框架图
[AAAI 2019] Unsupervised Fake News Detection on Social Media: A Generative Approach
- 概率图模型做的假新闻识别
- 无监督学习，考虑tweet用户的参与
-
分3个层次，1是原来新闻，2是认证用户发布的与新闻相关的tweet，3是其他用户的点赞、平均、转发。
概率图模型
