吴军数学之美第二版学习笔记4

第4章 谈谈分词

一、概念与主题

1,分词的一致性

2,词的颗粒度

3,词的层次

二、延伸阅读



三、备注

1,最简单的分词方法,就是查字典。

2,一般来讲,应用不同,汉语分词的颗粒度大小应该不同。

3,中文分词以统计语言模型为基础,到今天可以看做是一个已经解决的问题。分词器的差别主要在于数据的使用和工程实现的精度。

4,中文分词技术,在英语的手写体识别中也能派上用场。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 常用概念: 自然语言处理(NLP) 数据挖掘 推荐算法 用户画像 知识图谱 信息检索 文本分类 常用技术: 词级别...
    御风之星阅读 13,222评论 1 25
  • 原文引自 豆瓣《数学之美》-笔记总结 第1章 文字和语言vs数字和信息 讲述了文字、数字和语言的历史,目的是帮助...
    _Haimei阅读 5,603评论 0 3
  • 数学常常给人一种深奥和复杂的感觉,但它的本质常常是简单而直接的。美德就如同华贵的宝石,在朴素的衬托下最显华丽。数学...
    张聪_2048阅读 4,320评论 0 1
  • 文字、数字、语言 、信息 数字、文字和自然语言一样,都是信息的载体,他们的产生都是为了记录和传播信息。 但是貌似数...
    dy2903阅读 5,152评论 0 2
  • 个人见解:数学起源于数,来自于对物质世界精确的观测,可以精确的运算。所以数学更接近物理世界;哲学起源于人们用自己的...
    旧灵魂curiosity阅读 5,068评论 5 3

友情链接更多精彩内容