导读

最近在做中文词向量相关工作，其中看了一些中文词向量的相关论文，在这篇文章，将把近几年的中文词向量进展及其模型结构加以简述，大概要写3-4篇综述，每篇包含2-3篇论文。

一、Enriching Word Vectors with Subword Information

论文来源

这是一篇2017年发表在ACL(Association for Computational Linguistics)会议上的论文，作者来自于Facebook AI Research --- Piotr Bojanowski ，Edouard Grave 。

Abstract

这篇论文虽然是针对英文等西方语言提出的想法，但是后面cw2vec将这个idea在中文词向量上进行了应用，在这里还是简单的介绍一下。

在英文中，每一个单词由若干个字母组成，单词的词义和其中的组成是有很大的关系的，这篇论文的核心思想就是采用单词的n-gram特征学习词向量的表示，并取得了很好的实验效果。

Model

这篇论文提出的方法也很简单，在每个word的前后分别添加< 与 >字符，作为这个单词的开始于结束，还有就是对于只有一个字母的word进行表示，然后抽取其n-gram词袋特征，具体来说，以3-gram为例，单词where，可以被表示成，单词a，可以表示为，这篇论文抽取的是3 至 6的n-gram，那么where的所有表示就是，3-ngram：，，5-gram：，6-gram：，以上就是where的所有表示，除此之外，还把原单词加入到n-gram中，最后word采用的是所有的n-gram的和。

这篇论文没有提供模型结构图，但是都是基于CBOW和skipgram进行的改善。

Experiment Result

这篇论文的实验部分，不仅仅在Human similarity judgement 和 Word analogy tasks两个任务上面做了比较，还包含了其他的对比实验，并且是在多种语言进行了实验，具体的实验结果如下图所示，其中sg代表skipram，sisg-代表的是对那些不在评测文件中出现的词采用不做处理，sisg代表的是不在评测文件中的词采用n-gram加和表示。

Human similarity judgement

Word analogy tasks

二、 cw2vec: Learning Chinese Word Embeddings with Stroke n-gram Information

论文来源

这是一篇2018年发表在AAAI 2018(Association for the Advancement of Artificial Intelligence 2018)会议上的论文，作者来自于蚂蚁金服人工智能部 --- 曹绍升 。

详解

这篇我在前面已经对其理论进行了总结，并且实现了一个C++版本，具体的可以查看，cw2vec理论及其实现。

三、Radical Enhanced Chinese Word Embedding

论文来源

这是一篇2018年发表在CCL2018(The Seventeenth China National Conference on Computational Linguistics, CCL 2018)会议上的论文，作者来自于电子科技大学 --- Zheng Chen 和 Keqi Hu 。

Abstract

这篇论文是我最近整理的时候看到的，也算是最新的中文词向量论文了，在这里也简单的看一下。

在这篇论文中，考虑了中文汉字内部丰富的语义信息，通过新的方法抽取特征，提出了新的学习中文词向量的方法，在Word Similarity 和 Word Analogy上面验证其效果。

Model

模型是基于CBOW来进行的改进，通过Radical（部首）来增强word embedding，称之为RECWE模型，具体的模型结构如下图所示，模型结构分为了两个部分：

左边的是word prediction module，是一个典型的CBOW模型结构，其中w_i代表的是目标词，w_i+1、w_i-1代表的是上下文词，h_i1代表是的上下文词的隐层表示。

右边是 sub-information prediction module，它与 word prediction module并行存在，其中的c、s、r与word prediction module 中的w相对应，分别是上下文词与目标词的character、component、radical，h_i2代表的是左右的特征隐层表示。在这部分，也存在CWE模型中一字多义，音译词等影响，他们考虑使用word来构建h_i2。

为了能够充分的挖掘内部语义信息，对radical进行了转换处理，如下图，

目标函数变化的不大，具体如下图，对 h_i1 和 h_i2 都采用了average处理。

Experiment Result

在 Word Similarity 和 Word Analogy 上验证了其实验效果。

为了验证sub-information特征的影响， 实验部分考虑了三种sub-information特征，分别为p1、p2、p3，其中p1代表的是仅仅使用上下文词的sub-information，p2代表的是仅仅使用目标词的sub-information，p3代表的是使用目标词和上下文词的sub-information。

Word Similarity采用的评测文件是wordsim-240，wordsim-296，具体的实验结果如下图。

Word Analogy采用的是Chen 2015年构造的评测文件，具体的实验结果如下图。

References

[1] Enriching Word Vectors with Subword Information

[2] cw2vec: Learning Chinese Word Embeddings with Stroke n-gram Information

[3] Radical Enhanced Chinese Word Embedding