2020年初，新冠疫情席卷全球。除了“待在家，不乱跑”，我想还能从哪为抗击疫情出点微薄之力呢？

碰巧室友推送了一个天池公益赛“新冠疫情相似句对判定大赛”，于是秉持“重在参与”的心态参加了比赛。经过半个月的努力，最终的结果勉强不错（第6），收获了一台Kindle。​

image

2021年1月，疫情形势依然严峻，幸运的是咱们国家不仅及时稳住了疫情，还研发出有效的疫苗，全民免费接种。

借助疫情主题的比赛，我希望帮助更多读者，入门自然语言处理的基本任务——文本相似匹配。

开源代码：

https://github.com/yechens/COVID-19-sentence-pair

01 数据分析

任务背景非常直观，主办方给定了“肺炎”、“支气管炎”、“上呼吸道感染”等医疗背景下的用户真实提问，要求选手通过算法识别任意2个问题，是否表达同一个意思。举例：

• 问题1:“轻微感冒需不需要吃药？”
• 问题2:“轻微感冒需要吃什么药？”

问题1关心“是否得吃药”，问题2关心“该吃什么药”，侧重点不同所以意思不同。

数据集样本都是三元组(query1, query2, label)。为了降低难度，每一个问题的长度被控制在20字以内。

比赛数据demo

比赛的训练集、验证集分别包含8746、2001条三元组。我们从dev中随机保留了800条样本作为最终dev，其余均加入训练。

数据增强

拿到数据简单分析后，我发现数据集已经过清洗，竟然异常的干净整齐（没有杂乱的符号、不通顺的句子），label分布几乎也接近1:1。

再观察数据，相同的query1总是按顺序排列在一起，随后跟着不同的query2。这种分布很容易想到一种数据增强策略：相似传递性。

image

A <-> B 相似 and A <-> C 相似 => B <-> C 相似

最终我额外获得了5000条高质量的数据，比赛准确率因此提升了0.5%。

实体替换

此外，我们也尝试了训练一个NER模型挖掘文本中的医疗实体，如“胸膜炎”、“肺气肿”，再通过word2vec查找最接近的实体进行替换。

但这种方式并没有提升最终结果。我觉得原因有2个：

• 1W条样本规模偏小，NER模型识别误差较大
• 词向量没有针对医疗场景训练，包含的医疗实体很少

02 匹配方法实现

文本匹配有非常多简单又实用的方法，例如：

• 基于字符统计：字符串匹配、编辑距离、Jaccards距离
• 基于语言模型：word2vec/glove词向量、BERT
• 基于神经网络：孪生网络、TextCNN、DSSM、FastText等

由于比赛需要尽可能获得高分，这里主要介绍基于神经网络和BERT的文本匹配算法。

BERT[1]是一种预训练语言模型，通过海量文本、Transformer架构和MLM训练任务在众多NLP任务上取得了优异成果。对BERT不了解的读者，可以参考我之前的文章“从BERT、XLNet到MPNet，细看NLP预训练模型发展变迁史”[2]。

比赛中我们测试了5-6种不同的神经网络方法，并最终选择了3种在dev上表现最好的模型加权融合。具体可以参考code/model.py 文件。

文本CNN（TextCNN）

TextCNN是Yoon Kim[3]在2014年提出的用于句子分类的卷积神经网络。文本匹配任务本质上可以理解成二分类任务（0:不相似，1:相似），所以一般的分类模型也能满足匹配需求。

TextCNN

与图像中的二维卷积不同，TextCNN采用的是一维卷积，每个卷积核的大小为h✖️k(h为卷积核窗口，k为词向量维度)。文中采用了不同尺寸的卷积核，来提取不同文本长度的特征。

然后，作者对于卷积核的输出进行最大池化操作，只保留最重要的特征。各个卷积核输出经MaxPooling后拼接形成一个新向量，最后输出到全连接层分类器(Dropout + Linear + Softmax)实现分类。

我们知道，文本中的关键词对于判断2个句子是否相似有很大影响，而CNN局部卷积的特效能很好的捕捉这种关键特征。同时TextCNN还具有参数量小，训练稳定等优点。

文本RNN（TextRCNN）

相比TextCNN，TextRCNN的模型结构看起来复杂一些。

TextRCNN

简单浏览论文后，会发现它的思路其实简单，粗暴。

首先通过词向量获得字符编码e(wi)，随后将其通过双向RNN学习上下文特征，编码得到两个方向的特征。

再将词向量 e(wi)和cl(wi)、cr(wi) 拼接得到新向量，输入经tanh函数激活的全连接网络。最后，将网络的输出最大池化，并输入另一个全连接分类器完成分类。

RNN模型对于长文本有较好的上下文“记忆”能力，更适合处理文本这种包含时间序列的信息。

BERT+MLP（fine-tune）

最后一种方法，直接用语言模型BERT最后一层Transformer的输出，接一层Dense实现文本匹配。

BERT

实验中我们发现，对最终输出的每个token特征取平均（MeanPooling）效果好于直接使用首字符“[CLS]”的特征。

模型权重上，崔一鸣等人[5]发布的中文roberta_wwm_ext_large模型效果要好于BERT_large。

image

最后，我们根据这三种模型在dev上的准确率设置了不同比重，通过自动搜索找到最优权重组合，在线上测试集取得了96.26%的准确率。

读者可以在“NLP情报局”后台回复“文本匹配”直接下载模型论文。

03 涨分trick

做一个深度学习主导的算法比赛，除了分析数据与模型，一些trick也是获得高分的重要因素。这里罗列了一些常用策略。

• 数据增强[6]
• 标签平滑
• 自蒸馏
• 文本对抗训练[7]
• 模型融合
• 特征筛选
• 使用多个学习率[8]

针对这次文本匹配任务，数据增强、标签平滑、模型融合、多学习率都被证明是有效的。

04 总结

过去将近1年的天池“新冠疫情相似句对判定大赛”，任务并不复杂，是入门NLP项目实战，提升编程能力的很好锻炼机会。

image

比赛虽然结束了，疫情犹在。愿每位读者出门多加防护，一定要保护好自己哦！

如果你觉得这篇文章对你有帮助，欢迎点赞，让更多的人也能看到这篇内容 ❤️

关注公众号「NLP情报局」，第一时间阅读自然语言处理、机器学习算法相关干货～

Reference

[1] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.

[2] 从BERT、XLNet到MPNet，细看NLP预训练模型发展变迁史: https://zhuanlan.zhihu.com/p/166013414

[3] Convolutional Neural Networks for Sentence Classification.

[4] Recurrent Convolutional Neural Networks for Text Classification.

[5] Chinese-BERT-wwm: https://github.com/ymcui/Chinese-BERT-wwm

[6] 一文了解NLP中的数据增强方法: https://zhuanlan.zhihu.com/p/145521255

[7] 【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现: https://zhuanlan.zhihu.com/p/91269728

[8] 称霸Kaggle的十大深度学习技巧: https://zhuanlan.zhihu.com/p/41379279