今天记一次采用bert抽取句子向量的实战过程，主要是想感受一下bert抽取出来的句子特征向量是否真的具有不错的语义表达。

在此之前，我们来回顾一下，如果我们想拿到一个句子的特征向量可以采用什么样的方式(ps 这些下方总结只是笔者在工作中学到的一些文本向量抽取方式，可能并未收集齐全)：

基于词袋模型(Bag of Words)

• Bag of Words : 主要思想是基于对句子中字出现的次数来构建句子向量，向量大小即为词表大小。可以采用的工具是gensim中的doc2bow
• TF-IDF：在BOW的基础上，考虑到每个字的重要程度，向量大小依然等于词表大小。可以采用的工具是gensim中的TfidfModel

基于无监督神经网络模型

• 词向量的平均(mean)：直观理解就是将句子中每个词的词向量求平均，向量维度等于词向量维度。可以使用工具是gensim中的word2vec。
• Doc2Vec：主要借鉴了word2vec思想去训练句子向量，向量维度可以自己设置。可以使用工具是gensim中的doc2vec。
• Bert 生成的句子向量：BERT的每一层的输出其实都可以看作句子的向量，你可以有很多种方式去抽取文本向量，比如官方给出的取最后四层的句子向量拼接（输出维度：[maxlen,768*4]）或者求平均(输出维度：[maxlen,768]。后续也许你需要在对句子向量求一下平均，这样文本向量的维度就为768。 可以采用的工具是官方开源的代码中的extract_features.py，当然也可以采用一些其他方式，我在实战部分会介绍另外一种。

基于文本主题的模型（这个词不是很严谨）

• LDA 主题模型：在词袋模型的基础上通过文本中主题的分布去表示文本向量，向量维度等于预设主题的个数。可以采用工具是gensim中的LdaModel
• LSI 隐语义模型：也是需要预设文本主题的个数，在词袋模型的基础上采用矩阵分解的方式去表示句子向量，向量维度等于预设主题的个数。可以采用工具是gensim中的LSI

行文至此突然发现gensim真是文本处理这块不可不学习的python包，但更重要的是需要掌握每种方法的原理以及使用场景。由于笔者也在学习过程当中，实战经验也不是很足，还不能够很好的描述各方法的原理和以及了解各方法的适用场景，就不在这误人子弟了。

当然你也可以针对有监督的任务去训练一个词向量，但是由于在工业界，有监督的数据通常很难获取。所以词袋模型，无监督的神经网络模型还有LDA等是经常被采用的文本向量化技术。接下来进入实战部分。

实战部分

准备工作：

• 首先安装 pip install https://github.com/bojone/bert4keras，bert4keras 是苏剑林大神开发基于keras的bert包，其中实现了各种对bert的妙用，很值得大家去学习一番
• 去这个网址下载bert 预训练权重—— https://github.com/ymcui/Chinese-BERT-wwm

import numpy as np
from bert4keras.bert import build_bert_model
from bert4keras.tokenizer import Tokenizer, load_vocab

接下来定义四个函数：

• build_tokenizer ： 加载bert的tokenizer，主要是产生句子bert的输入向量。
• build_model：加载预训练的bert模型。
• generate_mask：将句子padding为0的的部分mask掉。
• extract_emb_feature：抽取句子向量，这里笔者实现的是直接将bert最后一层的句子向量取平均。

###加载tokenizer
def build_tokenizer(dict_path):
    token_dict = load_vocab(dict_path)
    tokenizer = Tokenizer(token_dict, do_lower_case=True)  
    return tokenizer

###加载 bert 模型
def build_model(config_path,checkpoint_path):
    bert_model = build_bert_model(config_path,checkpoint_path)
    return bert_model

###生成mask矩阵
def generate_mask(sen_list,max_len):
    len_list = [len(i) if len(i)<=max_len else max_len for i in sen_list]
    array_mask = np.array([np.hstack((np.ones(j),np.zeros(max_len-j))) for j in len_list])
    return np.expand_dims(array_mask,axis=2)

###生成句子向量特征
def extract_emb_feature(model,tokenizer,sentences,max_len,mask_if=False):
    mask = generate_mask(sentences,max_len)
    token_ids_list = []
    segment_ids_list = []
    for sen in sentences:
        token_ids, segment_ids = tokenizer.encode(sen,first_length=max_len)
        token_ids_list.append(token_ids)
        segment_ids_list.append(segment_ids)
    result = model.predict([np.array(token_ids_list), np.array(segment_ids_list)])
    if mask_if:
        result = result * mask
    return np.mean(result,axis=1)

你需要定义好预训练模型的词库文件，配置文件，模型参数地址，然后加载bert的tokenizer和模型。

"""
chinese_wwm_L-12_H-768_A-12.zip
    |- bert_model.ckpt      # 模型权重
    |- bert_model.meta      # 模型meta信息
    |- bert_model.index     # 模型index信息
    |- bert_config.json     # 模型参数
    |- vocab.txt            # 词表
"""
dict_path = "./chinese_wwm_L-12_H-768_A-12/ bert_model"
config_path = "./chinese_wwm_L-12_H-768_A-12/bert_config.json"
checkpoint_path = "./chinese_wwm_L-12_H-768_A-12/vocab.txt"

tokenizer = build_tokenizer(dict_path)
model = build_model(config_path,checkpoint_path)

然后笔者用bert提取了"这台苹果真是好用","这颗苹果真是好吃","苹果电脑很好","这台小米真是好用"，四句话的文本向量，计算了一下两两句子间的cosine相似度。

sentences = ["这台苹果真是好用","这颗苹果真是好吃","苹果电脑很好","这台小米真是好用"]
sentence_emb = extract_emb_feature(model,tokenizer,sentences,200)
from sklearn.metrics.pairwise import cosine_similarity
cosine_similarity(sentence_emb)

结果如下：我们发现"这台苹果真是好用"和"这颗苹果真是好吃"的相似度（0.92）就比和"苹果电脑很好"的相似度（0.96）要低。这充分显示出bert对 水果“苹果” 和电脑“苹果”还是做了比较好的区别。

无mask

sentences = ["这台苹果真是好用","这颗苹果真好吃","苹果电脑很好","这台小米真是好用"]
sentence_emb = extract_emb_feature(model,tokenizer,sentences,200,mask_if=True)
from sklearn.metrics.pairwise import cosine_similarity
cosine_similarity(sentence_emb)

含mask

结语

如果熟悉bert的同学会知道，如下图所示：其实句子向量的第一个token[CLS] 的向量经常代表句子向量取做下游分类任务的finetune，这里为啥笔者未直接使用[CLS]的向量呢，这就是深度学习玄学的部分：具笔者了解[CLS]向量在下游任务做finetuning的时候会比较好的文本向量表示。而直接采用bert做特征抽取时[CLS]向量的威力就没那么强了。至于到底采用何种方式用bert抽取文本句子向量是最好的方式，我也不知道，还是留给大家探索去吧。

bert

参考文献

https://www.lizenghai.com/archives/28761.html
https://github.com/bojone/bert4keras