Google开源的BERT的确很良心，代码写得非常好，是一个不错的学习案例，这里我从实战的角度从预训练到下游任务实战做一个全面的梳理。原理部分的讲解请参考我上篇博客。

这里简单说下环境：

    tensorflow 1.11.0（用1.4版本的朋友建议还是装个CUDA9.0做个升级吧，我想google之后的开源应该都是基于这个版本的，所以为了能看到原汁原味的代码，还是妥协下吧！）

    我也尝试过pytorch的版本，但毕竟不是官方的代码，从学习的角度建议还是用tensorflow的。

Part1:模型预训练

1.数据准备

官方给的数据形式是这样的：

英文数据

这里也贴一份中文样本数据：

段和段之间用空格隔开，如果你的语料不是这种格式，需要事先进行处理，英文的官方使用的是NLP的 spaCy工具包进行的句子切割，中文的话，根据标点符号切就行啦。

2.生成Vocab

    根据语料生成词典，这里注意加上以下字符，如果是中文就分个词

3.运行create_pretraining_data.py,关于这个代码，我在这做个梳理吧，虽然没啥原理性的东西，但万事开头难，NLP的数据处理永远是至关重要的一步。

这个程序是用来生成tfrecord的，另外论文中提到的所有数据处理过程都在这个程序中。

- 创建tokenizer，很多人也许会困惑这个啥，这是Google AI Language Team写的一个字符处理的工具，按照代码里的使用就行。

-逐行读入数据：

官方代码这里是这么处理每一行英文数据的，实际上可以简单理解为做了个分词操作吧。

接下来就是将数据转换成任务需要的形式了，也就是文章中的两个任务masked lm,next sentences prediction。

        - 对于一份数据，可以每次将masked 设定的位置都不一样，也就是可以做个数据扩充，代码中的dupe_factor就是将数据重复多次进行处理。

最终的数据的结果，我们可以打印几条看看：

至于处理规则这里就不讲了，论文里对如何做mask和生成next也讲的比较详细 。

3.模型预训练

这个部分主要梳理下模型预训练的代码，即run_pretraining.py。

        首先准备一个config文件夹，里面放bert_config.json文件，这个文件最好在刚才进行数据预处理的时候就生成以下，内容可以参考官方提供的预训练模型的内容。

- （1）设置run config

tf.contrib.learn.RunConfig用于管理Estimator运行的控制信息，代码中用的*.tpu.RunConfig，主要是还有些tpu的设置，这里主要设置好checkpoints_steps和output_dir就行。

- （2）建立模型model_fn_builder,主要是建立好里面的model_fn的回掉函数，里面的内容我后续会说明。

- （3）建立estimator API

- （4）建立input_fn_builder回掉函数，核心是里面的input_fn(params)回掉函数，params是固定参数，是一个词典，里面有batch size（创建estimator 传入）等参数。

上面这5步几乎是靠回调函数完成的，可读性并不是很好，我下面会具体说一下细节。

注：train的第一步就是调用input_fn,读取record，并产生一个batch的数据。

然后就进到model_fn中创建模型，传入的fearure数据如下：

接下来就是创建模型：

模型里面的内容如下：

- embedding：word,position,token type embedding(将这三个embedding相加)，得到最后的embedding_output

- encoder : 

        - 根据input创建mask  函数：create_attention_mask_from_input_mask

        - transformer_model 这个部分应该算整个代码的核心了，代码并不难,主要看看是不是论文里讲的那样：

masked忽略

               - self-attention

                - 残差+layer-norm（黄色框）

这里比论文里多了一层线性层（红色框）

                - Feed forward layer(intermediate)

                 - 残差+layer-norm

- 计算loss

先来看第一个get_masked_lm_output

    - get_masked_lm_output中的gather_indexes函数就根据positions（masked的位置）从transformer的输出层里把相应的step给挑出来，例如这个句子masked了20个词，那么输出的唯独就是[64,20,96]，再接着做一个非线性变化+layer_norm（貌似论文里这块没有讲）

接下来就是全连接层了，这块做法和CBOW一样，直接乘最开始初始化的embedding矩阵：

最后的输出的概率值（64*20，749）：

注意这里20是指mask的最大个数，不一定20个词全mask了，所以要配合label_weights一起算

再看next_sentence_example_loss

这里注意BERT做句子层面的分类，都是用的0step的[CLS]标签，这里的get_pooled_output是0_step隐藏层接了一个非线性变化的结果：

句子层面的分类比较简单，借一个线性层就行啦。

最后把两个部分的loss加起来就行了

至此BERT的预训练就梳理到这里。