4篇SIGIR短文
[1] [SIGIR19] BERT with History Answer Embedding for Conversational Question Answering
[2] [SIGIR19] CEDR Contextualized Embeddings for Document Ranking
[3] [SIGIR19] Deeper Text Understanding for IR with Contextual Neural Language Modeling
[4] [SIGIR19] FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance
- 都是利用BERT做两个句子相关度计算
- [1] 在原始BERT的Embedding处理的基础上加了一个History Answer Encoder（HAE），用来表示这个词语是否在答案中出现过
- 然后就都没有别的什么与BERT相关的花样了
BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
- 直接把BERT用到推荐系统
- 把预测mask和预测下一个一起做
[IJCAI19] Story Ending Prediction by Transferable BERT
- 这篇是用BERT预测故事的结局
-
具体分3步走，第一步用原始训练BERT的方式预训练BERT，第二步同时用3个语言任务来继续训练BERT，最后是训练需要的预测任务
3步多任务学习
[ACL19-workshop] A Simple but Effective Method to Incorporate Multi-turn Context with BERT for Conversational Machine Comprehension
- 用BERT做多轮对话
-
方法就是把当前问题、历史问题、历史答案都用一个BERT模型建模得到基于上下文的表示，然后全部拼到一起，再用两层GRU得到回答的开始和结束位置
模型图
[ACL19] Multi-Task Deep Neural Networks for Natural Language Understanding
-
用BERT做多任务学习，同时训练多个语言方面的任务
模型图
总结
- 除了SIGIR[1]那边给BERT模型增加了一个HAE，还没有看到有文章改了BERT结构的
- 大部分文章也就是在直接用BERT模型完成各种不同的任务，就像以前是用RNN、CNN、Attention之类的，不过现在改成用BERT了，而且大多也能做预训练和多任务学习
