以下为本次报告使用的文本内容——来源于一则公共管理学院网站新闻的爬取结果。
第三届公共管理青年学者论坛于2017年10月13-14日在上海举行。会议由中国管理现代化研究会公共管理专业委员会、中国管理现代化研究会青年工作委员会主办，上海交通大学国际与公共事务学院、中国城市治理研究院承办。本次论坛有来自四川大学、斯坦福大学、香港中文大学、清华大学、中人民大学、复旦大学、中山大学、上海财经大学、兰州大学等高校的近100名会议代表。论坛以“全面深化改革背景下的公共管理：致力于打造一个更包容的社会”为主题，分“公共行政组织理论”、“治理理论与包容性发展”、“公共价值与绩效”等论坛展开研讨。
行政管理系施雷格研究员、刘锐副研究员应邀参加本次论坛。施雷格教授在“期刊主编面对面：主编眼中的优秀论文”专场，向参会者隆重介绍了期刊《Chinese Public Administration Review》的栏目设置、投稿须知、录用发表情况，同《中国行政管理》、《公共管理学报》、《公共行政评论》等期刊主编或编辑，进行了友好地互动和愉快地交流。刘锐副研究员在“治理理论与包容性发展”专场作了主题报告。两位老师在会议期间与参会老师进行积极交流，介绍了我院近年在城市治理研究领域的推进状况！
一、在线分词工具——ICTCLAS分词系统-NLPIR汉语分词系统
中国科学院计算技术研究所在多年研究工作积累的基础上，研制出了汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典。ICTCLAS3.0分词速度单机996KB/s，分词精度98.45%，API不超过200KB，各种词典数据压缩后不到3M，是当前世界上最好的汉语词法分析器。
使用ICTCLAS分词系统的在线演示功能，将文本内容添加到输入框内，如图所示：
同时，还可输入网页URL进行分词，以及分析结果的展示方式十分多样，具体如下：
1.分词标注（部分结果如图所示）
由图可知，此系统将“第三届公共管理青年学者论坛”中的“第三届”分为了“第三”和“届”两个词，但“第三届”应为一个词，以及“公共管理”、“青年学者论坛”拆开，同样的，还将“上海交通大学”、“斯坦福大学”、“香港中文大学”、“人民大学”、“复旦大学”、“上海财经大学”、“兰州大学”等分为两个词。同时我注意到，旁边有“用户自定义词语”功能，于是我手动添加了以上举例的词语，后结果如下：
2.词频统计
3.文本分类
4.关键词提取
以上为ICTCLAS分词系统分词的结果，可以看出部分词会出现被处理为多个词的情况，但总体对文本内容的分词是较为准确的，并且从多种方式分析并展示出分词结果，功能强大。
二、jieba分词
jieba特点：
- 支持三种分词模式：
- 精确模式，试图将句子最精确地切开，适合文本分析；
- 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
- 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
- 支持繁体分词
- 支持自定义词典
- MIT 授权协议
1.安装jieba分词
pip install jieba
2.使用分词功能
jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型
jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
jieba.cut以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用jieba.lcut 以及jieba.lcut_for_search 直接返回 list
jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。
# encoding=utf-8
import jieba
seg_list = jieba.cut("第三届公共管理青年学者论坛于2017年10月13-14日在上海举行。会议由中国管理现代化研究会公共管理专业委员会、中国管理现代化研究会青年工作委员会主办，上海交通大学国际与公共事务学院、中国城市治理研究院承办。本次论坛有来自四川大学、斯坦福大学、香港中文大学、清华大学、中人民大学、复旦大学、中山大学、上海财经大学、兰州大学等高校的近100名会议代表。论坛以“全面深化改革背景下的公共管理：致力于打造一个更包容的社会”为主题，分“公共行政组织理论”、“治理理论与包容性发展”、“公共价值与绩效”等论坛展开研讨。行政管理系施雷格研究员、刘锐副研究员应邀参加本次论坛。施雷格教授在“期刊主编面对面：主编眼中的优秀论文”专场，向参会者隆重介绍了期刊《Chinese Public Administration Review》的栏目设置、投稿须知、录用发表情况，同《中国行政管理》、《公共管理学报》、《公共行政评论》等期刊主编或编辑，进行了友好地互动和愉快地交流。刘锐副研究员在“治理理论与包容性发展”专场作了主题报告。两位老师在会议期间与参会老师进行积极交流，介绍了我院近年在城市治理研究领域的推进状况！", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list)) # 全模式
import jieba
seg_list = jieba.cut("第三届公共管理青年学者论坛于2017年10月13-14日在上海举行。会议由中国管理现代化研究会公共管理专业委员会、中国管理现代化研究会青年工作委员会主办，上海交通大学国际与公共事务学院、中国城市治理研究院承办。本次论坛有来自四川大学、斯坦福大学、香港中文大学、清华大学、中人民大学、复旦大学、中山大学、上海财经大学、兰州大学等高校的近100名会议代表。论坛以“全面深化改革背景下的公共管理：致力于打造一个更包容的社会”为主题，分“公共行政组织理论”、“治理理论与包容性发展”、“公共价值与绩效”等论坛展开研讨。行政管理系施雷格研究员、刘锐副研究员应邀参加本次论坛。施雷格教授在“期刊主编面对面：主编眼中的优秀论文”专场，向参会者隆重介绍了期刊《Chinese Public Administration Review》的栏目设置、投稿须知、录用发表情况，同《中国行政管理》、《公共管理学报》、《公共行政评论》等期刊主编或编辑，进行了友好地互动和愉快地交流。刘锐副研究员在“治理理论与包容性发展”专场作了主题报告。两位老师在会议期间与参会老师进行积极交流，介绍了我院近年在城市治理研究领域的推进状况！", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list)) # 精确模式
import jieba
seg_list = jieba.cut_for_search("第三届公共管理青年学者论坛于2017年10月13-14日在上海举行。会议由中国管理现代化研究会公共管理专业委员会、中国管理现代化研究会青年工作委员会主办，上海交通大学国际与公共事务学院、中国城市治理研究院承办。本次论坛有来自四川大学、斯坦福大学、香港中文大学、清华大学、中人民大学、复旦大学、中山大学、上海财经大学、兰州大学等高校的近100名会议代表。论坛以“全面深化改革背景下的公共管理：致力于打造一个更包容的社会”为主题，分“公共行政组织理论”、“治理理论与包容性发展”、“公共价值与绩效”等论坛展开研讨。行政管理系施雷格研究员、刘锐副研究员应邀参加本次论坛。施雷格教授在“期刊主编面对面：主编眼中的优秀论文”专场，向参会者隆重介绍了期刊《Chinese Public Administration Review》的栏目设置、投稿须知、录用发表情况，同《中国行政管理》、《公共管理学报》、《公共行政评论》等期刊主编或编辑，进行了友好地互动和愉快地交流。刘锐副研究员在“治理理论与包容性发展”专场作了主题报告。两位老师在会议期间与参会老师进行积极交流，介绍了我院近年在城市治理研究领域的推进状况！") # 搜索引擎模式
print(", ".join(seg_list))
3.添加自定义词典
载入词典
开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率
用法： jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径
词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
词频省略时使用自动计算的能保证分出该词的词频。
由精确模式结果可知，出现部分分词错误的情况，例如“公共管理”、“青年学者论坛”、“中国行政管理”、“公共管理学报”以及“行政管理系”，这部分问题我将通过添加自定义词典解决。其中前四个词我将添加cidian.txt添加，“行政管理系”将用“调整词典”的代码进行添加。
1）添加userdict.txt
2）创建fenci_1.py
# encoding=utf-8
from __future__ import print_function, unicode_literals
import sys
sys.path.append("../")
import jieba
jieba.load_userdict("userdict.txt")
import jieba.posseg as pseg
jieba.add_word('行政管理系')
test_sent = ("第三届公共管理青年学者论坛于2017年10月13-14日在上海举行。会议由中国管理现代化研究会公共管理专业委员会、中国管理现代化研究会青年工作委员会主办，上海交通大学国际与公共事务学院、中国城市治理研究院承办。本次论坛有来自四川大学、斯坦福大学、香港中文大学、清华大学、中人民大学、复旦大学、中山大学、上海财经大学、兰州大学等高校的近100名会议代表。论坛以“全面深化改革背景下的公共管理：致力于打造一个更包容的社会”为主题，分“公共行政组织理论”、“治理理论与包容性发展”、“公共价值与绩效”等论坛展开研讨。行政管理系施雷格研究员、刘锐副研究员应邀参加本次论坛。施雷格教授在“期刊主编面对面：主编眼中的优秀论文”专场，向参会者隆重介绍了期刊《Chinese Public Administration Review》的栏目设置、投稿须知、录用发表情况，同《中国行政管理》、《公共管理学报》、《公共行政评论》等期刊主编或编辑，进行了友好地互动和愉快地交流。刘锐副研究员在“治理理论与包容性发展”专场作了主题报告。两位老师在会议期间与参会老师进行积极交流，介绍了我院近年在城市治理研究领域的推进状况！")
words = jieba.cut(test_sent)
print('/'.join(words))
图中，红框为userdict.txt中添加的词，黄框为使用“调整词典”代码添加的词。
4.关键词提取
1）基于TF-IDF算法进行关键词抽取
创建TFgjc.py文件，并编辑代码如下：
# encoding=utf-8
import jieba
from jieba import analyse
from optparse import OptionParser
# 引入TF-IDF关键词抽取接口
tfidf = analyse.extract_tags
# 原始文本
text = "第三届公共管理青年学者论坛于2017年10月13-14日在上海举行。会议由中国管理现代化研究会公共管理专业委员会、中国管理现代化研究会青年工作委员会主办，上海交通大学国际与公共事务学院、中国城市治理研究院承办。本次论坛有来自四川大学、斯坦福大学、香港中文大学、清华大学、中人民大学、复旦大学、中山大学、上海财经大学、兰州大学等高校的近100名会议代表。论坛以“全面深化改革背景下的公共管理：致力于打造一个更包容的社会”为主题，分“公共行政组织理论”、“治理理论与包容性发展”、“公共价值与绩效”等论坛展开研讨。行政管理系施雷格研究员、刘锐副研究员应邀参加本次论坛。施雷格教授在“期刊主编面对面：主编眼中的优秀论文”专场，向参会者隆重介绍了期刊《Chinese Public Administration Review》的栏目设置、投稿须知、录用发表情况，同《中国行政管理》、《公共管理学报》、《公共行政评论》等期刊主编或编辑，进行了友好地互动和愉快地交流。刘锐副研究员在“治理理论与包容性发展”专场作了主题报告。两位老师在会议期间与参会老师进行积极交流，介绍了我院近年在城市治理研究领域的推进状况！"
# 基于TF-IDF算法进行关键词抽取
keywords = tfidf(text)
print （"keywords by tfidf:"）
# 输出抽取出的关键词
for keyword in keywords:
print (keyword + "/",)
输出结果如下：
2）基于TextRank算法进行关键词抽取
创建TRgjc.py文件，编辑代码如下：
# encoding=utf-8
import jieba
from jieba import analyse
from optparse import OptionParser
# 引入TextRank关键词抽取接口
textrank = analyse.textrank
# 原始文本
text = "第三届公共管理青年学者论坛于2017年10月13-14日在上海举行。会议由中国管理现代化研究会公共管理专业委员会、中国管理现代化研究会青年工作委员会主办，上海交通大学国际与公共事务学院、中国城市治理研究院承办。本次论坛有来自四川大学、斯坦福大学、香港中文大学、清华大学、中人民大学、复旦大学、中山大学、上海财经大学、兰州大学等高校的近100名会议代表。论坛以“全面深化改革背景下的公共管理：致力于打造一个更包容的社会”为主题，分“公共行政组织理论”、“治理理论与包容性发展”、“公共价值与绩效”等论坛展开研讨。行政管理系施雷格研究员、刘锐副研究员应邀参加本次论坛。施雷格教授在“期刊主编面对面：主编眼中的优秀论文”专场，向参会者隆重介绍了期刊《Chinese Public Administration Review》的栏目设置、投稿须知、录用发表情况，同《中国行政管理》、《公共管理学报》、《公共行政评论》等期刊主编或编辑，进行了友好地互动和愉快地交流。刘锐副研究员在“治理理论与包容性发展”专场作了主题报告。两位老师在会议期间与参会老师进行积极交流，介绍了我院近年在城市治理研究领域的推进状况！"
print ("\nkeywords by textrank:")
# 基于TextRank算法进行关键词抽取
keywords = textrank(text)
# 输出抽取出的关键词
for keyword in keywords:
print (keyword + "/",)
输出结果如下：
5.制作词云
在网上下载停用词表stop.txt（1893个词），创建ciyun.py文件提取关键词，编辑代码如下：
# encoding=utf-8
from __future__ import print_function, unicode_literals
import sys
sys.path.append("../")
import jieba
jieba.load_userdict("userdict.txt")
import jieba.posseg as pseg
import jieba.analyse
content = "第三届公共管理青年学者论坛于2017年10月13-14日在上海举行。会议由中国管理现代化研究会公共管理专业委员会、中国管理现代化研究会青年工作委员会主办，上海交通大学国际与公共事务学院、中国城市治理研究院承办。本次论坛有来自四川大学、斯坦福大学、香港中文大学、清华大学、中人民大学、复旦大学、中山大学、上海财经大学、兰州大学等高校的近100名会议代表。论坛以“全面深化改革背景下的公共管理：致力于打造一个更包容的社会”为主题，分“公共行政组织理论”、“治理理论与包容性发展”、“公共价值与绩效”等论坛展开研讨。行政管理系施雷格研究员、刘锐副研究员应邀参加本次论坛。施雷格教授在“期刊主编面对面：主编眼中的优秀论文”专场，向参会者隆重介绍了期刊《Chinese Public Administration Review》的栏目设置、投稿须知、录用发表情况，同《中国行政管理》、《公共管理学报》、《公共行政评论》等期刊主编或编辑，进行了友好地互动和愉快地交流。刘锐副研究员在“治理理论与包容性发展”专场作了主题报告。两位老师在会议期间与参会老师进行积极交流，介绍了我院近年在城市治理研究领域的推进状况！"
try:
jieba.analyse.set_stop_words('stop.txt')
tags = jieba.analyse.extract_tags(content, topK=100, withWeight=True)
for v, n in tags:
#权重是小数，为了凑整，乘了一万
print (v + '\t' + str(int(n * 10000)))
finally:
file_in.close()
输出结果如下：
打开TAGUL，开始制作词云，把结果贴进import words里。
最终词云完成图：
三、总结
这次分词练习，使我对分词的使用方法有了更深的了解。两种分词工具的差别，在线工具功能强大，比较方便快捷，jieba相较来说稍显繁杂，但自定义程度更高，也相对更加精确。在代码编辑过程中，曾犯该缩进的代码忘记缩进的低级错误，导致运行出错，此错误出现一次之后就未再出现。
