Python--利用结巴进行分词

本文首发于我的博客：gongyanli.com

前言：本文是一些关于jieba分词的简单操作，把文档进行分词后，然后利用wordcloud输出。

一、安装

pip install jieba

二、准备数据

依然是维基百科文章保存为txt，地址https://zh.wikipedia.org/wiki/%E6%AC%A7%E9%98%B3%E4%BF%AE
下载文件simsun.ttf，如果没有这个文件，生成的词云将会是乱码，不是中文。因为wordcloud默认字体是英文，不包含中文编码。

三、分词

`import jieba  # 导入jieba
import matplotlib.pyplot as plt
from wordcloud import WordCloud

filename = "ouyangxiu.txt"
with open(filename) as f:
    mytext = f.read()
    mytext=" ".join(jieba.cut(mytext))  # 进行jieba分词
    wordcloud=WordCloud(font_path="simsun.ttf").generate(mytext) 
    # 中文分词后再生成词云，同时注意指定输出字体simsun.ttf
    plt.imshow(wordcloud,interpolation='bilinear')
    plt.axis("off")
    plt.show()
# print(mytext)

`

四、出图

image