目录
- Motivation:论文想要解决的问题
- Methodology:本文提出的方法
- experiment:实验结果
Motivation
- Bert 直接生成的sentence representation(SR) 不能很好的表达句子的语义。(相似的句子距离更近)
- 所以设计网络来finetune bert,使得可以获取nice的SR
Methodology
- SBERT architecture with classification objective function:同时输入两个句子,最后使用entropy loss
注:fintune结束后,bert+pooling可作为句子编码器。
- SBERT architecture at inference:同时输入两个句子,可以使用MSEloss
experiment
- 使用SBERT框架&NLI finetune之后效果比BERT CLS-vector效果好