阅读笔记5：（SBERT）Sentence-BERT:Sentence Embeddings using Siamese BERT-Networks

Motivation

- Bert 直接生成的sentence representation（SR）不能很好的表达句子的语义。（相似的句子距离更近）

- 所以设计网络来finetune bert，使得可以获取nice的SR

Methodology

- SBERT architecture with classification objective function：同时输入两个句子，最后使用entropy loss

注：fintune结束后，bert+pooling可作为句子编码器。

- SBERT architecture at inference：同时输入两个句子，可以使用MSEloss

- 使用SBERT框架&NLI finetune之后效果比BERT CLS-vector效果好

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。