BERT(Bidirectional Encoder Representations from Transformers)

在 ACL 上，Devlin, Chang, Lee 和 Toutanova 发表于 2019 的文章— BERT:Pre-training of deep bidirectional transformers for language understanding。

那么什么是 BERT 呢? 我们先从字面上解释一下什么是 BERT，我们将词分开来一个一个地看来解读什么是 BERT。

• Bidirectional : 是双向神经网络，这个在学习 RNN 时候我们就了解到如何使用双向 RNN 让每一个词视野更加广阔，不但可以看到其前面词还能看到其后面的词
• Encoder : 说明 BERT 是编码器
• Representations : BERT 是完成词的表征的任务的模型，之前我们已经学过了了 word2vec
• Transformer: 其实 BERT 就是 transform 解码器部分，表示 BERT 结构没有采用 LSTM 这样 RNN 结构，而是采用了 Transformer 这样结构来实现双向循环神经网，Transformer 对象 LSTM 的优势是并行计算

那么 BERT 用途是啥呢

human_labeling.jpeg

我们先说 BERT 的优点，就是在训练 BERT 时候我们不需要人工数据集，随便那些文本资料就可以用于训练 BERT，这些文本可以小说、技术书刊、杂志或者是网页等等来做预训练。

computing_power.png

但是 BERT 也不是完美无缺，BERT 需要大量算力才能进行 BERT 的训练

recieve_message.jpg

• 简单介绍一下 BERT 中的两个任务
• 以及两个任务的作用
• 如何将两个任务设计到一个网络结构中

双向变换器编码表征(Devlin at al, 2018)

• 上下文
• (巨大)的 transformer 编码器

| 版本 | block |hidden units |heads | parameters |GPU | time |
|---|---|---|---|---|---|---|---|
| Small | 12 | 768 | 12 | 110M | 16TPU | 14 days|
| Large | 24 | 1024 | 16 | 340M |

• 如果要用亚马逊的服务可能要花费 1 万美元才能训练出小规模的 BERT

• I went to the bank to deposit some money

• I went to the back to sit down

预训练

• 提高模型的泛化能力的方法

• 随机遮挡一个单词，让编码器(encoder)根据上下文来预测被遮挡的单词

• 将两句话放在一起，让编码器(encoder)来判断这两句话是不是原文中相邻的两句话

任务1—预测被遮挡的单词

BERT_002.png

• 输入是文本序列，经过预处理，有关如何对文本进行预处理之前已经给大家介绍过，将文本切分为单词
• 经过 Embedding Layer 将每一个单词映射为词向量
• 经过 Transformer 的编码器(Encoder) 后得到

BERT_005.png

• 从一句话中对所有 token 进行随机选取，每一个 token 选取可能性都是 15%
  • 80% 用 <mask> 替换掉这个词
  • 10% 用一个 <random token> 来替换掉这个词
  • 10% 用 cat 这个词
• transformer 中有注意力机制，所以 和输入 并不是一对一映射，而是多对一映射。

BERT_006.png

从上图不难看出 包含所有输入序列的单词信息，所以可以用 来预测遮挡位子的单词

BERT_007.png

将特征向量 输入到一个 Softmax 分类器，经过 Softmax 分类器得到一个 p 向量，p 也是概率分布，我们希望 p 向量接近 cat 的 one-hot 向量

任务2—预测下一个句子

• 50% 将下一句随机替换为
• 将 Transformer 输出，输入到一个全联接层来预测序列对
• 给定句子 calculus is a branch of math
• 在原文中下一个句子是 it was developed by newton and leibniz
• panda is native to south central china

接下来是如何制作数据集，就是将两句话拼接起来，在最第一句话前面添加 [CLS] 在两句话之间添加 [SEP] 表示分隔两句话

BERT_011.png

其实之前有关 mask 掉一个词来通过预测 masked 的词来训练词向量，大家还能理解，但是对于为什么通过预测两个句子，大家可能就会有点摸不着头脑了，为什么这样做有易于词向量的训练呢？

• 在 Transformer Encoder 有 self-attention 层，self-attention 就是要找相关性，这种任务便于找到相关性

BERT_020.jpg

组合任务

BERT_012.png

BERT_015.png

小例子 1

• input
  • calculus is a [MASK] of math
  • it [MASK] developed by newton and leibniz
• Targets
  • true
  • branch
  • was

小例子 2

• input
  • calculus is a branch of math
  • panda is native to [MASK] central china
• Targets
  • flase
  • south