大约一年未动笔写学习笔记了，但这一年NLP学术领域可谓是飞速发展。其中最火的两个概念就是contrastive Learning(对比学习，simcse 是对比学习框架下较为出名的算法)和 prompt-based learning（模板学习）。我们都知道AI领域除了算力贵，其实有价值的标注数据也非常昂贵。而无论是对比学习还是模板学习都开始解决少量标注样本，甚至没有标注样本时，让模型也能有不错的效果。这里我通过一个简单的文本分类任务介绍一下传说中的prompt-based learning。
NLP 领域中的四范式
学术界将NLP任务的发展过程，分为下方四个阶段，又称为NLP四范式。
第一范式： 基于传统机器学习模型的范式：比如 tfidf 特征 + 朴素贝叶斯的文本分类任务
第二范式 ： 基于深度学习 模型的范式：比如word2vec 特征 + LSTM的文本分类任务。
相比于第一范式，模型准确有所提高，特征工程的工作也有所减少。第三范式： 基于预训练模型+ fine-tune 的范式： 比如 BERT + finetune 的文本分类任务。
相比于第二范式，模型准确度显著提高，但是模型也变得更大，小数据集可以训练出好模型。第四范式：基于预训练模型+ Prompt + 预测的范式： 比如 BERT + Prompt 的文本分类任务
相比于第三范式，模型训练所需的训练数据显著减少。
从整个发展过程来看，整个NLP领域，朝着 精度更高，少监督，甚至无监督的方向发展。
而prompt-based learning 算是目前学术界向少监督，无监督，高精度的方向发展 最新的研究成果。（毕竟标注数据很贵，也很难拿到）
prompt baesed learing
prompt baesed learing 本质上就是设计一个比较契合上游预训练模型的模板，让上游的预训练模型在尽量不需要标注数据的情况下比较好的完成下游的任务
主要包括3个最关键的步骤。
1.设计预训练的语言模型的任务（Pretrained Models）
2.设计输入模板样式 （Prompt Engineering）
3.设计label样式 ,以及模型的输出映射到label的方式 （Answer Engineering）
其核心奥义通过模板的设计就是挖掘出上游预训练模型的潜力。
下面我们通过一个文本分类任务详细的了解一下prompt baesed learing 是如何操作的。
prompt 文本分类
整个prompt 文本分类任务大致分为如下四个步骤：
- （1）加载预训练的语言模型：
本实验加载了bert-wwm模型 - （2）设计一个符合进行下游任务的输入模板，设计一个符合下游的label样式：本实验的输入模板和预测label的样式如下，
输入模板： '接下来报导一则xx新闻,'+ 待预测的文本
输出label ：["文化"，"娱乐"，"体育"......] - （3）将自己的数据填充到模板，并进行预处理：
这里就是将文本需要 处理成Bert的输入格式，然后将 "xx新闻" 的xx 用mask_id 替换掉即可（原因：后续的预测任务采样的bert 的MLM任务） - （4）设计一个将模型输出映射到自己label的得分公式，然后进行预测。
本实验是采样的bert MLM的输出直接预测被mask的字
其实不难发现这里的文本分类任务，就是设计了一个类完形填空的模板去挖掘出上游Bert 模型的潜力（Bert的预训练任务中有MLM 训练）。
代码详解
整个代码其实参考苏神的 https://github.com/bojone/Pattern-Exploiting-Training，
有兴趣的同学可以去上方链接学习更多的知识。
加载预训练的语言模型
导入必要的包，同时加载bert-wwm预训练模型
import json
import numpy as np
from bert4keras.backend import keras, K
from bert4keras.layers import Loss
from bert4keras.tokenizers import Tokenizer
from bert4keras.models import build_transformer_model
from bert4keras.optimizers import Adam
from bert4keras.snippets import sequence_padding, DataGenerator
from bert4keras.snippets import open
from keras.layers import Lambda, Dense
# 加载预训练模型和分词器
config_path = './model/bert_config.json'
checkpoint_path = './model/bert_model.ckpt'
dict_path = './model/vocab.txt'
maxlen = 50
# 这里with_mlm 打开预测单字模式
model = build_transformer_model(
config_path=config_path, checkpoint_path=checkpoint_path, with_mlm=True
)
tokenizer = Tokenizer(dict_path, do_lower_case=True)
定义好输入模板和预测结果
# 定义好模板
prefix = u'接下来报导一则xx新闻。'
mask_idxs = [8, 9]
# 定义类别
labels = [
u'文化', u'娱乐', u'体育', u'财经', u'房产', u'汽车', u'教育', u'科技', u'军事', u'旅游', u'国际',
u'证券', u'农业', u'电竞', u'民生'
]
输入数据预处理
将xx位置编码成mask_id ,表示这两个字是什么需要mlm去做预测
##将xx这两个字符 用[mask]的id 代替
text = prefix + "长沙驿路高歌路虎极光汽车音响改装升级雷贝琴——纯净圆润"
token_ids, segment_ids = tokenizer.encode(text, maxlen=maxlen)
token_ids[8] = tokenizer._token_mask_id
token_ids[9] = tokenizer._token_mask_id
token_ids = sequence_padding([token_ids])
segment_ids = sequence_padding([segment_ids])
输出后处理以及结果预测
把label中的两个字 带入到 模型在 mask位置输出中，计算得分，然后将两个字得分相乘，得分label的词语即为分类结果。
注：mask 位置输出的是两个 2w多维的向量。 每个index中的值 ,代表预测的字 是词典中对映该 index 的字的可能性的大小
label_ids = np.array([tokenizer.encode(l)[0][1:-1] for l in labels])
y_pred = model.predict([token_ids,segment_ids])[:, mask_idxs]
y_pred = y_pred[:, 0, label_ids[:, 0]] * y_pred[:, 1, label_ids[:, 1]]
y_pred = y_pred.argmax(axis=1)
labels[y_pred[0]]
结语
整个过程，我没有使用任何标注数据，就能成功完成一个文本分类任务，这确实证明了模板学习的有效。我没做定量的准确度评估，从这篇文章的定量结论可以看出，模板学习表现其实并不差，但是目前的水准还达不到工业应用的水准。但通过模板发挥出预训练模型的潜力，这个方向还是不错的。 笔者曾经做过实验在 有监督finetune的时候加上模板，也能够让模型的效果变得更好。看来挖掘预训练模型的潜力，还有很多工作可以做。
参考文献：
https://spaces.ac.cn/archives/7764
https://arxiv.org/pdf/2107.13586.pdf
