导读

本篇主要对分词技术中基于规则的分词方法进行深入的探究，主要从算法的简介、应用、优缺点和算法的实现等角度进行剖析。目标是对算法理解并能够在实际中应用。

基于规则的分词算法主要思想是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配。若在词典中找到某个字符串，则匹配成功。该方法有三个要素，即分词词典、文本扫描顺序和匹配原则。

基于规则的分词方法中最常见的就是最大匹配算法和最短路径算法

最大匹配算法

01算法简介

最大匹配法是指以词典为依据，取词典中最长词长度作为第一次取字数量的长度，在词典中进行扫描。核心思想是：从左到右将待分词文本中的几个连续字符与词表匹配，如果匹配上，则切分出一个词。但这里有一个问题：要做到最大匹配，并不是第一次匹配到就可以切分的。

最大匹配法主要包括正向最大匹配法（FMM，Forward Maximum Matching）、逆向最大匹配法（BMM, Backward Maximum Matching）和双向最大匹配法，均是基于词典的。

缺点：

1.需要给定词典，如果词典中记录不全，比如新词没在字典中，可能就识别不出来；

2/矛盾之处：词典中的词少的话，会影响准确率，词典中词多的话，会影响运行效率；

优化：为提升扫描效率，还可以根据字数多少设计多个字典，然后根据字数分别从不同字典中进行扫描。

02算法核心思想

正向匹配算法的步骤：

1.从左到右开始扫描，当扫描到"计算"的时候，该词语已经在词库中出现，但并非最大匹配

2.继续进行扫描，直到发现"计算语言学"，该词是词库中出现的词，但并不知道后续是否出现更长的匹配，因此继续匹配

3.全部扫描完后，得出第一个匹配的词是"计算语言学"

逆向匹配算法的步骤：

1.首先定义一个最大分割长度比如5，从右往左截取到"课程有意思",

2.查找表发现不在词典中，去掉左边第一个得到"程有意思",不在词典中，以此类推，得到第一个分词词语"意思"

3.原句变为"计算语言学课程有",因为分割长度为5，得到"言学课程有"

4.以此类推进行分词

双向匹配算法的步骤：

1.比较正向最大匹配和逆向最大匹配结果。

2.如果分词数量结果不同，那么取分词数量较少的那个。如果分词数量结果相同：

2.1.分词结果相同，可以返回任何一个。

2.2.分词结果不同，返回单字数比较少的那个，

如果单字数个数也相同，则任意返回一个。

03python代码实现

04复杂最大匹配算法

由Chen 和Liu在《Word identification for Mandarin Chinese sentences》提出。该文提出了三词语块（three word chunks）的概念。三词语块生成规则是：在对句子中的某个词进行切分时，如果有歧义拿不定主意，就再向后展望两个汉语词，并且找出所有可能的三词语块。在所有可能的三词语块中根据如下四条规则选出最终分词结果。

规则1：最大匹配

分词方案是使得三词语块(three-word chunk)最长。

规则2：最大平均词长

在句子的末尾，很可能得到的"三词语块"只有一个或两个词（其他位置补空），也就是从这些语块中找出平均词长最大的语块，并选取其第一词语作为正确的词语切分形式。这个规则的前提假设是：在句子中遇到多字词语的情况比单字词语更有可能。

规则3：最小词长方差

该规则的前提假设是：句子中的词语长度经常是均匀分布的。

规则4：最大单字词语语素自由度之和