BERT

BERT（Bidirectional Encoder Representations from Transformers，双向编码器Transformer）是Google研究团队发表于2018年的一个语言表示模型
时间线在GPT-1之后
使用的Transformer编码器部分
3.4亿的参数量 相当于3个vgg 参数量

image.png

entailment（蕴含）任务中的假设-前提句子对
有三种 矛盾关系

推荐阅读更多精彩内容

• BERT论文翻译

  BERT论文地址：https://arxiv.org/abs/1810.04805翻译 https://arxiv...

  高永峰_GYF阅读 2,865评论 0赞 1
• BERT：深度双向预训练语言模型

  论文标题：BERT: Pre-training of Deep Bidirectional Transformer...

  酷酷的群阅读 3,241评论 0赞 13
• Bert 论文阅读笔记

  主要内容 Abstract Introduction Related Work Bert Experiments ...

  Anunnaki阅读 1,046评论 0赞 1
• Bert模型解读-2

  一 前言 从现在的大趋势来看，使用某种模型预训练一个语言模型看起来是一种比较靠谱的方法。从之前AI2的 ELMo，...

  Jessie_83bf阅读 1,650评论 1赞 0
• BERT: Pre-training of Deep Bidirectional Transf...

  1. 简介 大名鼎鼎的BERT，基于目前流行的transformer结构，一经推出就刷新了11个NLP任务的SOT...

  0_oHuanyu阅读 976评论 0赞 0