2017 · EMNLP · Supervised Learning of Universal Sentence Representations from Natural Language In...

2017 · EMNLP · Supervised Learning of Universal Sentence Representations from Natural Language Inference Data

想法来源:从自然语言推理的encoder中得到sentence embedding的表示。

价值:证明了NLI 迁移的可行性

方法:从NLI数据集上面训练的encoder模型,迁移到其他任务。

缺点

详细方案

  1. 基本的NLI模型结构


    -c400
  2. 使用7种主流的encoder方法


    -c150
  3. 在主流的几个任务中进行测试,其中包括多分类,二分类,相似度评测(Spearman/pearson matric),caption image retirval.

数据集
全部都在FB的Github SentEval

实验

  • 实验首先证明了哪个encoder表现较好


    -c400
  • 证明了NLI数据预训练的可行性


    -c
  • 研究了embedding size 的影响

-c500
  • 最后比较了在Image Caption retrieval上的结果
image
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容