分词练习

在本次分词练习中,使用文本如下:

菊外人指不知道王菊是谁,也没看过创造101,但是已经被给王菊投票相关信息包围的人

一 利用jieba进行分词练习

参考教程:jieba官方文档

1.分词

全模式

结果

全模式的分词较为细致,把前后能组词的都进行了组词,例如“不知道”被分成了“不知”和“知道”。

精确模式

精确模式下的分词结果较为准确,但像“菊外人”这种专有名词还是没有被识别出来

搜索引擎模式

2.载入词典

新建ju.txt文件,写入我自己自定义的词典

结果为:

载入词典后的分词结果更为准确

3.基于 TF-IDF 算法的关键词抽取


4.词性标注

标注句子分词后每个词的词性,采用和 ictclas 兼容的标记法。

二 pullword在线分词

出词概率阈值为0:

居然把“菊外人”也能分出来,也是很厉害了

出词概率阈值为1:只分出了5个词

出词概率阈值为0.5:有点像jieba的全模式的分词结果

三 词云

使用工具:图悦

分析文本:好妹妹乐队《谎话情歌》歌词


热词权重图
热词词频图

使用工具:纽扣词云



©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 在接下来的分词练习中将使用到四川大学公共管理学院的一篇新闻进行练习,文本如下: 为贯彻落实党的十九大精神,不断提升...
    nicokani阅读 5,083评论 0 4
  • 使用ICTCLAS(NLPIR)在线分词工具和jieba分词组件进行分词练习。 一. ICTCLAS 1.简介 汉...
    Carina_55阅读 4,237评论 0 1
  • 关于分词工具包的体验:分词练习2——分词体验 现有的分词工具包 (1)NLPIR NLPIR汉语分词系统,又名IC...
    骆落啊阅读 4,739评论 0 6
  • 接分词练习1——分词工具包 分词效果尝试 接下来我将体验NLPIR和jieba分词的效果,其中,NLPIR使用在线...
    骆落啊阅读 4,007评论 0 1
  • 一、jieba分词1.在cmd中安装结巴分词 python setup.py install 并在python环境...
    hai_king阅读 2,600评论 0 1

友情链接更多精彩内容