本文首发于：行者AI

从最初的GPT1和BERT模型到GPT3，在更多的训练数据及更强力的算力加持下，大规模的预训练模型逐渐走上了一条参数暴涨的不归路。GPT3比起前作GPT2参数增加了100倍，达到了令人惊叹的1750亿，与此同时，这些模型对应的论文也从10多页增加到72页。这些剧烈变动的趋势反映了学界对通用语言模型的殷殷期盼。

天量参数加持下的GPT3一经问世就引起了众多深度学习界研究人员的关注，虽然在测试表现中存在着“逻辑硬伤”等明显的缺陷，但是瑕不掩瑜，其出色的生成效果和令人惊叹的少样本学习（few-shot）能力得到了众多研究人员的肯定。

令人遗憾的是对于国内的研究者而言，由于GPT3主要是在英文数据集下训练，不能直接用于中文数据的处理。而对于中文数据的自然语言处理也迫切需要大规模的预训练模型，清源团队在2020年11月份发布了在巨量中文语料下训练得到的大规模预训练模型——CPM。也被称之为中文版的GPT3，最大版本拥有26亿参数。在实际测试中收获了很多惊喜，尤其是它的少样本学习能力，着实令人印象深刻。

下面就来一起感受一下它的惊艳之处。

表0-1 近几年有代表性的大规模自然语言处理预训练模型的概况

1. 生成效果

CPM模型的论文中自然不乏以专业指标来表示的测试结果，虽显严谨，但却无法直观地感受到模型的具体效果，故本文罗列了众多具体的生成实例，可以直观感受其强大之处。

1.1 少样本问答生成

问答是自然语言处理领域中一个经典应用场景，诸如智能客服，闲聊机器人都是该场景的具体应用。CPM的训练数据集中也包含部分问答数据（见表2-1），故整体来看在问答场景的效果有着意料之中的较好表现。

CPM模型在常识问答（表1-1）中大多数都能正确回答，少数回答错误的例子在范围上并没有偏离太多，如“黄晓明的老婆是谁”虽然回答错误，但回答内容也是一个人名，从范围上来看并没有偏离太多。类似“砒霜可以吃吗”这种询问是否可以的问题模型似乎学会了习惯性的说"可以"（真是个顺从的好boy）。

表1-1 常识问答

注：“-”代表没有参考答案，属于开放式问题，下同。

生活话题（表1-2）的回答还反映了模型“机智”的一面，对于“凤姐和鞠婧祎谁更漂亮”的问题学会了两边都不得罪。对于“男朋友是渣男怎么办”的问题模型更是毅然决然的抛出了两个字“分手”。

表1-2 生活话题问答

模型对相似概念的区分（表1-3）遭遇了滑铁卢，不难看出模型的“知识学习”的并不是很扎实，多数时候只能给出一些似是而非的回答，但个别回答也能表现出模型具有一定的分辨相似概念的能力，还是令人称奇。

表1-3 相似概念区分

“询问”了模型5道简单的个位数算术题，模型仅做对了两道（表1-4），暴露了模型不善数学的一面。

表1-4 算术问答

前面见识到模型对相似概念区分有一定辨识能力后，便进一步的好奇模型对于专业知识的回答会有何表现。一番测试后发现模型对专业知识的回答大部分还都是正确的（表1-5），着实令人意外。回答错误例子中模型便只是给出了一些相关的内容，综合前面几个方面的问答，能感受到模型给出结果的背后逻辑似乎是相关性。

表1-5 专业知识问答

测完模型的“专业性”，又开始好奇模型的“内涵”，所以有了下面一些哲学问答（表1-6）。虽然对于灵魂三问模型只是给出了一些很摸不着头脑的回答，但是似乎也不妨碍它启发人类（“人工智能是人类的希望。”）。

表1-6 哲学话题问答

1.2 少样本古诗词及歇后语续写

对于古诗词续写（表1-7）模型似乎是“满分考生”，而歇后语续写（表1-8）亦是稳稳当当。

表1-7 古诗词续写

表1-8 歇后语续写

1.3 少样本实体生成

实体生成表现出了CPM模型在少样本学习上的优良性能，且模型训练时并没有针对此类数据进行过训练，却仅通过两个例子（附-4）就能“悟到”需要给出的回答应该是什么样的。

表1-9 实体生成-首都

对于首都的实例生成（表1-9）和国内省会城市的实体生成（表1-10），模型几无差错，但对国外的省会（首府）城市便有些差强人意了。

表1-10 实体生成-省会

虽然对于学科相关的实体生成论文中已有例举，但笔者还是按捺不住好奇之心做了些许尝试，效果依然令人印象深刻。

表1-11 实体生成-学科

试验行至此处，突然有了一个大胆的想法：若是不加微调地对模型直接进行少样本学习下的词性分析结果会如何呢？基于此进行了简单尝试得到了表1-12，虽然结果未能达到预期，但是却也显示出了CPM在这方面的潜力。不难让人相信，若是进行一番针对性的微调训练，它在词性识别任务上也能有不俗的表现。

表1-12 实体生成-词性

基于前面，进一步发散思维做了颜色的实体生成（表1-13），从结果来看依然有着不错的潜力。

表1-13 实体生成-颜色

基于前面的种种表现，从字符判断语种反而对模型而言算是一个简单的任务了，表1-14测试的结果都是给出了正确答案。

表1-14 实体生成-语种判断

对于性别的实体生成（表1-15）模型似乎也能给出一些说得过去的答案，真是令人意想不到。

表1-15 实体生成-性别

职业方面的实体生成（表1-16）测试了从古至今各个行业的一些著名人物，绝大多数都给到了正确的结果，似乎显示了模型的“博古通今”。

表1-16 实体生成-职业

虽然对于导演/主演的实体生成（表1-17）中所给的例子都为导演（见附-10），但是有一次展现了模型的“领悟”能力，对于主演的实体生成也是不在话下。

表1-17 实体生成-导演/主演

最后尝试了一下用实体生成来寻找近义词（表1-18），却发现模型对于此任务表现一般，很容易就生成一些并不是近义的词汇。

表1-18 实体生成-近义词

2. 预训练模型简介

2.1 模型规格与 数据集

表2-1 CPM模型的3种规格

表2-2 CPM模型的训练集构成

2.2 训练参数

表2-3 CPM模型训练时的主要参数设定

2.3 结果测试

三种规格的模型的零样本（未经目标数据训练或微调）对文本分类任务的效果令人意外，其中TNEWS与IFLYTEK为4分类，OCNLI为3分类。

表2-4 CPM三种规格模型在零样本学习（zero-shot）情形下的文本分类效果

使用CPM进行实体生成时也表现出了令人惊喜的效果，在给予两个三元组关系示例作为前文的情况下可以领会到以示例格式输出生成的实体（见附-6所示代码）。另外原论文表示在N设置为2时便可以取得与N为4时相当的效果。

表2-5 CPM模型在少样本学习（few-shot）情形下于XLORE数据集上的BLEU-1分数对比

*注：BLEU-1评估分数范围在0~1之间，值越大代表效果越好；N代表少样本学习中所给示例的数目；XLORE数据集是包含实体及关系的一个数据集；

3. 附录

附-1 问答few-shot代码示例

def ask_question(question, max_len=55):
    out = sample('''问题：中国的首都是哪里？
    答案：北京。
    问题：李白在哪个朝代？
    答案：唐朝。
    问题：%s
    答案：''' % question, max_len)
    print(f"Q:{question}    A:{out}")`

附-2 诗词续写few-shot代码示例

def dictation_poetry(front, max_len=50):
    out = sample('''默写古诗:
    白日依山尽，黄河入海流。
    %s，''' % front, max_len)
    print(f"Q:{front}    A:{out}")`

附-3 算数问答few-shot代码示例

def do_math(inputs, max_len=10):
    out = sample('''1+1=2
    3+2=5
    %s''' % inputs, max_len)
    print(f"Q:{inputs}    A:{out}")`

附-4 省会实体生成few-shot代码示例

def entity_generation_provincial_capital(inputs, max_len=20):
    out = sample(
        f"""山东 省会 济南
        河南 省会 郑州
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-5 首都实体生成few-shot代码示例

def entity_generation_capital(inputs, max_len=20):
    out = sample(
        f"""中国 首都 北京
        美国 首都 华盛顿
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-6 学科实体生成few-shot代码示例

def entity_generation_subject(inputs, max_len=20):
    out = sample(
        f"""恒星级黑洞 学科 宇宙论
        品类需求强度 学科 品牌经济学
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-7 词性实体生成few-shot代码示例

def entity_generation_pos(inputs, max_len=20):
    out = sample(
        f"""跑 词性 动词
        可爱 词性 形容词
        砰 词性 拟声词
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-8 颜色实体生成few-shot代码示例

def entity_generation_color(inputs, max_len=20):
    out = sample(
        f"""血液 颜色 红色
        天空 颜色 蓝色
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-9 语种实体生成few-shot代码示例

def entity_generation_language(inputs, max_len=20):
    out = sample(
        f"""吃了吗 语言 汉语
        interesting 语言 英语
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-10 导演/主演实体生成few-shot代码示例

def entity_generation_director(inputs, max_len=20):
    out = sample(
        f"""霸王别姬 导演 陈凯歌
        千与千寻 导演 宫崎骏
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-11 性别实体生成few-shot代码示例

def entity_generation_gender(inputs, max_len=20):
    out = sample(
        f"""口红 性别 女
        胡须 性别 男
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-12 职业实体生成few-shot代码示例

def entity_generation_job(inputs, max_len=20):
    out = sample(
        f"""奥巴马 职业 总统
        胡歌 职业 演员
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-13 同义词生成few-shot代码示例

def entity_generation_synonyms(inputs, max_len=20):
    out = sample(
        f"""信息 近义词 资讯
        生还 近义词 幸存
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-14 翻译实体生成few-shot代码示例

def entity_generation_translation(inputs, max_len=20):
    out = sample(
        f"""信息 英语 information
        我 德语 ich
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-15 歇后语实体生成few-shot代码示例

def couplet(inputs, max_len=20):
    out = sample(
        f"""歇后语 孔夫子搬家 尽是书
        兔子的尾巴 长不了
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

4. 参考文献

1. Zhang, Z. et al. CPM: A Large-scale Generative Chinese Pre-trained Language Model. (2020).