内容来自哈工大车万翔老师团队的作品《自然语言处理：基于预训练模型的方法》。
2. 子词切分
- 背景
以英语为代表的印欧语系的语言，词语之间通常已有分隔符（空格等）进行切分，无须再进行额外的分词处理。然而，由于这些语言往往具有复杂的词形变化，如果仅以天然的分隔符进行切分，不但会造成一定的数据稀疏问题，还会导致由于词表过大而降低处理速度。 - 基于规则的词形还原&词干提取：
词形还原：将变形的词语转换为原形，如将“computing”还原为“compute”
词干提取：将前缀、后缀等去掉，保留词干（Stem），如“computing”的词干为“comput”，其结果可能不是一个完整的单词。 - 基于统计的无监督子词（Subword）切分任务
- 子词切分定义
子词切分，就是将一个单词切分为若干连续的片段。算法的基本思路都是使用尽量长且频次高的子词对单词进行切分。
2.1 字节对编码（Byte Pair Encoding，BPE）算法
下面重点介绍常用的字节对编码（Byte Pair Encoding，BPE）算法：
BPE子词词表构造算法
- BPE例子：
-
假设语料库中存在下列Python词典中的3个单词以及每个单词对应的频次。其中，每个单词结尾增加了一个'＜/w＞'字符，并将每个单词切分成独立的字符构成子词。
词典的词 -
初始化的子词词表为3个单词包含的全部字符：初始化词表
-
统计单词内相邻的两个子词的频次，并选取频次最高的子词对'e'和's'，合并成新的子词'es'（9次），将其子词词表中，并将语料库中不再存在的子词's'从子词词表中删去。
语料库以及子词词表变为：
语料库子词词表
再合并下一个子词对：'es'和't'，新的语料库和子词词表为语料库子词词表 - 重复过程3，直到子词词表大小达到一个期望的词表大小为止。
- 根据子词序列将单词切分
采用贪心的方法：
① 首先将子词词表按照子词的长度由大到小进行排序。
② 然后，从前向后遍历子词词表，依次判断一个子词是否为单词的子串，如果是的话，则将该单词切分，然后继续向后遍历子词词表。如果子词词表全部遍历结束，单词中仍然有子串没有被切分，那么这些子串一定为低频串，则使用统一的标记，如'＜UNK＞'进行替换。
例如，对一个含有三个单词的句子['the＜/w＞'，'highest＜/w＞'，'mountain＜/w＞']进行切分，假设排好序的词表为['errrr＜/w＞'，'tain＜/w＞'，'moun'，'est＜/w＞'，'high'，'the＜/w＞'，'a＜/w＞']，则子词切分的结果为['the＜/w＞'，'high'，'est＜/w＞'，'moun'，'tain＜/w＞']。此过程也叫作对句子（单词序列）进行编码。
- 将编码还原成原始的句子
将全部子词进行拼接，然后将结尾字符替换为空格，就恰好为原始的句子了。 - 缓存技术加快编码速度。
将常见单词对应的编码结果事先存储下来，然后编码时通过查表的方式快速获得编码的结果。对于查不到的单词再实际执行编码算法。
由于高频词能够覆盖语言中的大部分单词，因此该方法实际执行编码算法的次数并不多，因此可以极大地提高编码过程的速度。
2.2 WordPiece
WordPiece与BPE算法类似，也是每次从子词词表中选出两个子词进行合并。
- 与BPE的最大区别在于，选择两个子词进行合并的策略不同：BPE选择频次最高的相邻子词合并，而WordPiece选择能够提升语言模型概率最大的相邻子词进行合并。
经过公式推导，提升语言模型概率最大的相邻子词具有最大的互信息值，也就是两子词在语言模型上具有较强的关联性，它们经常在语料中以相邻方式同时出现。
2.3 ULM
与WordPiece一样，ULM同样使用语言模型挑选子词。
- 不同之处在于，BPE和WordPiece算法的词表大小都是从小到大变化，属于增量法。而ULM则是减量法，
即先初始化一个大词表，根据评估准则不断丢弃词表中的子词，直到满足限定条件。
ULM算法考虑了句子的不同分词可能，因而能够输出带概率的多个子词分段。
