jieba分词工具的使用方法

作为我这样的萌新,python代码的第一步是:#coding=utf-8

环境:python3.5+jieba0.39

一、jieba包安装方法:

方法1:使用conda安装 conda install jieba(首先使用conda search jieba查看远程仓库有没有jieba资源,有的话就方法一安装,没有用方法二 ,原则是优先使用conda,其次选用pip)
方法2:使用pip安装 pip install jieba

二、jieba使用方法

实现的代码用到open()函数,以下是open()函数的第二个参数,其参数解释如下:

    r   以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
    rb  以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。
    r+  打开一个文件用于读写。文件指针将会放在文件的开头。
    rb+ 以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。
    w   打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
    wb  以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
    w+  打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
    wb+ 以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
    a   打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
    ab  以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
    a+  打开一个文件用于读写。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,创建新文件用于读写。
    ab+ 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。如果该文件不存在,创建新文件用于读写。  

下面代码实现读取txt文件(test.txt)内容,利用jieba实现分词并将分词结果写到一个新的txt文件(result.txt):

    #coding=utf-8
    import jieba
    import jieba.posseg as pseg
    fileNeedCut = 'G:/experiment/jieba/test.txt'
    fileName = 'G:/experiment/jieba/result.txt'
    
    fn = open(fileNeedCut, "r", encoding="utf-8")
    f = open(fileName, "w+", encoding="utf-8")
    for line in fn.readlines():
        #words = pseg.cut(line) #带分词的词性
        words = jieba.cut_for_search(line) #只是分词,不带词性
        for w in words:
            print(w, file=f)
    f.close()
    fn.close()
三、分词结果

分词前文件内容:

    大会的主题是:不忘初心,牢记使命

分词后的内容:

    大会
    的
    主题
    是
    :
    不忘
    初心
    ,
    牢记
    使命

注:使用words = pseg.cut(line)可在每个分词后面添加词性标注

最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1. 介绍 任何语言的包,依赖和环境管理:Python,R,Ruby,Lua,Scala,Java,Javascr...
    Himryang阅读 75,172评论 6赞 67
  • 注:参考文档 一、在线词云图工具# (1)、使用### 在正式使用jieba分词之前,首先尝试用在线分词工具来将自...
    DearIreneLi阅读 6,465评论 1赞 8
  • 关键词:windows平台下jieba安装、三种模式比较、自定义词典、停用词语料、词频统计、词云生成 jieba简...
    秋灯锁忆阅读 4,715评论 0赞 2
  • 曾经少不更事,仿佛一切美好如风,如今时光蹉跎,必须自我经营,2017年的成长如下:1、减肥 到120斤。2、读书2...
    王子妈妈佳佳阅读 252评论 0赞 1
  • 21天训练营,做了21张日签 习惯了每日晚上寻一张图,能够配上腐草为滢的文字,在早上发大家,开启新的一天 从第一天...
    视觉笔记糕小糕阅读 3,137评论 11赞 19

友情链接更多精彩内容