分词的算法有两大类：
- 基于字符串的匹配：即通过扫描字符串，如果发现字符串的子串和词相同，就算匹配上了。因其简单粗暴，往往会加入一些启发式规则，如“正/反向最大匹配”，“长词”优先等。这种算法的优点是速度快，但对歧义和未包含的词处理不好。
- 基于统计和机器学习的分词方式：这是一种基于人工标注的词性和统计特征进行建模，进而得出分词概率的分词方法。常见的标注模型有HMM何CRF。这类算法能很好地处理歧义和未登录词的问题，但是因需要人工标注数据，分词速度比较慢。
分词是一个比较大的坑。原因有：
- 分词歧义
- 未登录词识别：数字、实体名称/专业术语、成语、虚词、语气词
结巴分词是目前应用最广、评价比较高的分词工具包。
如何在anaconda中安装jieba分词
1.基本模式
结巴分词共有四种分词模式：
- 精确模式，试图将句子最精确地切开，适合文本分析；
- 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
- 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
- paddle模式，利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。
import jieba
tmpstr = '郭靖和哀牢山三十六剑。'
res = jieba.cut(tmpstr) #精确模式（默认）
print(res) #是可迭代的生成器，可用for循环遍历，本质上类似于list
<generator object Tokenizer.cut at 0x000002DCD667F750>
#1精简模式
print(' '.join(res))
郭靖 和 哀牢山 三十六 剑 。
#将可迭代对象转换为列表
res = jieba.cut(tmpstr)
list(word for word in res)
['郭靖', '和', '哀牢山', '三十六', '剑', '。']
#结果直接输出为list
print(jieba.lcut(tmpstr))
['郭靖', '和', '哀牢山', '三十六', '剑', '。']
#2全模式
print('/'.join(jieba.cut(tmpstr, cut_all=True)))
郭/靖/和/哀牢山/三十/三十六/十六/剑/。
print(jieba.lcut(tmpstr, cut_all=True))
['郭', '靖', '和', '哀牢山', '三十', '三十六', '十六', '剑', '。']
#3搜索引擎模式
print('/'.join(jieba.cut_for_search(tmpstr)))
郭靖/和/哀牢山/三十/十六/三十六/剑/。
print(jieba.lcut_for_search(tmpstr))
['郭靖', '和', '哀牢山', '三十', '十六', '三十六', '剑', '。']
2.使用词典
“哀牢山三十六剑”是一个完整的词，但以上的分词却把它进行了拆分。为了解决这一问题，我们需要添加该词，即告诉电脑“哀牢山三十六剑”是一个完整的词，请不要拆分。
#添加新词
jieba.add_word('哀牢山三十六剑')
print('/'.join(jieba.cut(tmpstr)))
郭靖/和/哀牢山三十六剑/。
#删除新词
jieba.del_word('哀牢山三十六剑')
print('/'.join(jieba.cut(tmpstr)))
郭靖/和/哀牢山/三十六/剑/。
如果词很少，可以手工添加，当词量很大时，我们可以考虑加载对应的词典来解决问题。
词典的基本格式是：
- 一个词占一行：词、词频（可省略）、词性（可省略），用空格隔开
- UTF-8编码（jieba是以UTF-8为基准）
#使用本地的词典
dict = 'D:/Files/program data/nlp/PythonData/金庸小说词库.txt'
jieba.load_userdict(dict) #dict为自定义词典的路径
print('/'.join(jieba.cut(tmpstr)))
郭靖/和/哀牢山三十六剑/。
关于词库，这里推荐
搜狗细胞词库
由于下载后的格式不是txt，还需要转换下格式：
- 深蓝词库转换
- 奥创词库转换
3.去除停用词
有时我们需要进行词频统计，不出意外会发现高频词都是如“的”、“只”等常用词，这些词往往不带有有效信息，因此需要将其去除（停用）。
- 常用词：的、地、得...
- 虚词：如介词、连词等
- 专业领域的常用词
- 根据情况而定：呵呵...
具体的有如下的思路：
思路一：分词后去除停用词
- 读入停用词表
- 正常分词
- 在分词结果中去除停用词
新列表=[word for word in 原列表 if word not in 停用词表]
存在的问题：停用词必须要被分词过程正确拆分出来
#分词后去除停用词
newlist = [w for w in jieba.cut(tmpstr) if w not in ['和', '。']]
print(newlist)
['郭靖', '哀牢山三十六剑']
import pandas as pd
tmpdf = pd.read_csv('D:/Files/program data/nlp/PythonData/停用词.txt',
names=['w'], sep='aaa', encoding='utf-8')newlist = [w for w in jieba.cut(tmpstr) if w not in list(tmpdf.w)]
print(newlist)
['郭靖', '哀牢山三十六剑']
思路二：使用extract_tags函数
在提取之前去掉通用词，根据TF-IDF算法将特征词提取出来。此外，可以人工指定停用词字典。
#使用extract_tags函数
import jieba.analyse as ana
ana.set_stop_words('D:/Files/program data/nlp/PythonData/停用词.txt')
ana.extract_tags(tmpstr, topK=20)
['郭靖', '哀牢山三十六剑']
4.词性标注
词性标注采用的是
ICTCLAS 汉语词性标注集
import jieba.posseg as psg
tmpres = psg.cut(tmpstr) #附加词性的分词结果
print(tmpres)
for item in tmpres:
print(item.word, item.flag)
<generator object cut at 0x000002DCDC382B88>
郭靖 x
和 c
哀牢山三十六剑 x
。 x
#直接输出为list，成员为pair
psg.lcut(tmpstr)
[pair('郭靖', 'x'), pair('和', 'c'), pair('哀牢山三十六剑', 'x'), pair('。', 'x')]
psg.lcut(tmpstr)[0].word
'郭靖'
参考资料：
Python数据分析--玩转文本挖掘
