BERT的那些类
1. BertConfig
这是一个配置类，继承PretrainedConfig类，用于model的配置，构造函数参数如下：
vocab_size (int, optional, defaults to 30522) ：BERT模型的字典大小，默认30522，每个token可以由input_ids表示。
hidden_size (int, optional, defaults to 768) ：是encoder和pooler层的维度，其中encoder层就是bert的主体结构，pooler层是将encoder层的输出接一个全连接层，将整个句子的信息表示为第一个token对应的隐含状态。
num_hidden_layers (int, optional, defaults to 12) ：隐含层数，默认是12层。
num_attention_heads (int, optional, defaults to 12) ：每个attention层的attention头数，默认是12个。
intermediate_size (int, optional, defaults to 3072) ：encoder中的中间层的维度，如前向传播层，默认是3072.
hidden_act (str or function, optional, defaults to “gelu”)：encoder和pooler部分中非线性层的激活函数，默认是gelu
hidden_dropout_prob (float, optional, defaults to 0.1) ：embedding, encoder, pooler部分里全连接层的dropout概率，默认为0.1.
attention_probs_dropout_prob (float, optional, defaults to 0.1)：attention过程中softmax后的概率计算时的dropout概率，默认0.1.
max_position_embeddings (int, optional, defaults to 512) ：模型允许的最大序列长度，默认512。
函数:
from_dict：由一个参数字典构建Config；
from_json_file：由一个参数json文件构建Config；
from_pretrained：由一个预训练的模型配置实例化一个配置
2. BertTokenizer
以字分割，继承PreTrainedTokenizer，前面介绍过，构造函数参数;
vocab_file (string)：字典文件，每行一个wordpiece
do_lower_case (bool, optional, defaults to True) ：是否将输入转换成小写
do_basic_tokenize (bool, optional, defaults to True)：是否在字分割之前使用BasicTokenize
never_split (Iterable, optional, defaults to None) ：可选。输入一个列表，列表内容为不进行 tokenization 的单词
unk_token (string, optional, defaults to “[UNK]”) ：字典里没有的字可以用这个token代替，默认使用[UNK]
sep_token (string, optional, defaults to “[SEP]”)：分隔句子的token符号，默认[SEP]
pad_token (string, optional, defaults to “[PAD]”)
cls_token (string, optional, defaults to “[CLS]”)
mask_token (string, optional, defaults to “[MASK]”)
tokenize_chinese_chars (bool, optional, defaults to True) :是否将中文字分割开
返回的就是input_ids，token_type_ds，attention mask等。
3. BertModel
Bert模型类，继承torch.nn.Module，实例化对象时使用from_pretrained()函数初始化模型权重，参数config用于配置模型参数
模型输入是：
input_ids，token_type_ids(可选），attention_mask(可选)，position_ids(可选),
head_mask(可选）：0表示head无效，1表示head有效。
inputs_embeds (可选)如果不使用input_ids，可以直接输入token的embedding表示。
encoder_hidden_states(可选)：encoder最后一层的隐含状态序列，模型配置为decoder时，需要此输入。
encoder_attention_mask(可选)：encoder最后一层隐含状态序列是否参与attention计算，防止padding部分参与，模型配置为decoder时，需要此输入.
返回类型tuple(torch.FloatTensor)：
last_hidden_state：模型最后一层输出的隐含层状态序列
pooler_output ：最后一层隐含层状态序列经过一层全连接和Tanh激活后，第一个toekn对应位置的输出。
hidden_states（可选，当output_hidden_states=True或者config.output_hidden_states=True）：每一层和初始embedding层输出的隐含状态
attentions（可选，当output_attentions=True或者config.output_attentions=True）：attention softmax后的attention权重，用于在自注意力头中计算权重平均值。
4. BertForPreTraining
这个类是论文中做pre_train时的两个任务，a masked language modeling and a next sentence prediction ，模型主体与BertModel一样，只是输入输出上稍有不同。
输入中增加了labels ，next_sentence_label，分别用于两个任务计算loss时用。
输出主要是loss，prediction_scores，seq_relationship_scores分别表示两个任务的总loss，MLM任务的loss和NSP任务的loss。
5. BertForMaskedLM
6. BertForNextSentencePrediction
这两个类就是把两个任务分开了，单独进行
7. BertForSequenceClassification
这个类用于句子分类或回归任务，继承torch.nn.Module，实例化依然使用from_pretrained+ config配置。
输入相比BertModel多了一个label
输出主要是loss，logits（softmax之前的分类分数）等tuple(torch.FloatTensor)
8. BertForMultipleChoice
这个是用于多项选择分类，例如，RocStories/SWAG tasks，这个分支我不了解，简单搜了一下就是给出前面几句话，让你从后面几个选项中选出接下来的话是哪个，感觉是知识推理。
输入输出与BertForSequenceClassification一样。
9. BertForTokenClassification
这个类用于对token分类，如命名实体识别任务，从给定的输入中识别出命名实体，所以是对最小单位toekn的分类。
输入输出同BertForSequenceClassification
10. BertForQuestionAnswering
这个类适用于问答系统。
输入中将上面几个模型中的label改成了start_position和end_position，即答案在原文中起始和结束位置。
输出是将预测分数改成了对答案起始位置和结束位置的预测分数。
