1.结构
或者
(1) 上下文+GPT-->Bert
(2) 将ELMo的 Bi-LSTM替换为Transformer--->Bert
2.训练方式
由两个部分构成，分别是Mask LM和Next Sentence Prediction
[1] Mask LM
输入：
在将单词序列输入给 BERT 之前，每个序列中有 15％ 的单词被 [MASK] token 替换。 然后模型尝试基于序列中其他未被 mask 的单词的上下文来预测被掩盖的原单词。
[[这样就需要：
(1) 在 encoder 的输出上添加一个分类层
(2) 用嵌入矩阵乘以输出向量，将其转换为词汇的维度
(3) 用 softmax 计算词汇表中每个单词的概率
BERT 的损失函数只考虑了 mask 的预测值，忽略了没有掩蔽的字的预测。这样的话，模型要比单向模型收敛得慢，不过结果的情境意识增加了。
[2] Next Sentence Prediction
输入：
在 BERT 的训练过程中，模型接收成对的句子作为输入，并且预测其中第二个句子是否在原始文档中也是后续句子。
在训练期间，50％ 的输入对在原始文档中是前后关系，另外 50％ 中是从语料库中随机组成的，并且是与第一句断开的。
为了帮助模型区分开训练中的两个句子，输入在进入模型之前要按以下方式进行处理：
(1) 在第一个句子的开头插入 [CLS] 标记，在每个句子的末尾插入 [SEP] 标记。
(2) 将表示句子 A 或句子 B 的一个句子 embedding 添加到每个 token 上。
(3) 给每个 token 添加一个位置 embedding，来表示它在序列中的位置。
为了预测第二个句子是否是第一个句子的后续句子，用下面几个步骤来预测：
(1) 整个输入序列输入给 Transformer 模型
(2) 用一个简单的分类层将 [CLS] 标记的输出变换为 2×1 形状的向量
(3) 用 softmax 计算 IsNextSequence 的概率
在训练 BERT 模型时，Masked LM 和 Next Sentence Prediction 是一起训练的，因此Bert是一个多任务训练过程，目标就是要最小化两种策略的组合损失函数。
(1) 输入是一对句子，其中一个句子的生成方式为下采样
(2) 输入的embedding分别是词的embedding(token embedding),句子位置的embedding(segment embedding),词位置的embedding(position embedding)，然后对每个对应位置的处的3个embedding进行 相加 作为最终的输入embedding
源码位置：model.py
(3) 输入的起始加入CLS
(4) 句子间通过SEP进行区分
4.输出
(1) 是一个句子级的表示
(2) CLS最后一个隐藏层向量作为句子表示；
5.内部其它知识点
(1) Multi-head attention
将一个词的vector维度切分为h个，求attention相似度时每个h维度计算。由于单词映射在高维空间作为向量形式，每一维空间都可以学到不同的特征，相邻空间所学结果更相似，相较于全体空间放到一起对应更加合理。比如对于vector-size=512的词向量，取h=8，每64个空间做一个attention，学到结果更细化。
(2) 由于transformer没有考虑到位置信息，因此在输入阶段加入position embedding，这样有利于将位置信息加入
(3) 在分类任务中，例如情感分析等，只需要在CLS的输出之上加一个全连接层之类的进行分类。为什么加到CLS上呢？是因为其它T1...TM都是为了预测mask的那个词，因此最后隐藏层的vector都是围绕mask的那个词生成的，即vector包含的主要是关于mask那个词的语义，没有太多其它词的语义。而CLS本身是没有任何语义的词，所以它的向量都是来源于其它的词，所以它的语义是来源于整个句子，因此可认为它是编码的整个句子。
另外，也可以将所有的输出拼接起来，C,T1...TM，外接一个LSTM来做也是可以的。
(4) MLM用于获取上下文语义，NSP用于获取两个句子间的关系，因此Bert出来的效果比较好。
ps.
BERT中使用了encode，下图很好的解释了multi-head attention
