从中文分词开始

如果 中文 词语 之间 也 用 空格 分开,会不会 理解 起来 更好 更快 呢?对于 机器 来说 肯定 是的?

机器在识别像中文这样的自然语言时,第一步就是分词。然后根据每个词意思来理解整句。

那么人脑理解中文时是不是也要先分词呢,理解英文这样自带分词的语言时呢,跳过分词这个步骤了?那么中文母语者和英文母语者的大脑处理语言的过程就不一样了。

人脑可能会有一个语言库,里面会分级,比如有句子库、词库、字库,偏旁部首库,笔画库。常用的句子会有一个直接匹配,直接整句被解码。如果整句没有准确匹配或者模糊匹配,可能会分词,然后到词库一级去匹配,这一级也匹配不到,那么可能是一个新词,再到字库里去匹配,再分析这个新词可能是什么含义。

英文对应的会有句库,词库,词根词缀库,字母库。这样与中文对比是不是少了一级,中文的笔画对应英文字母,中文偏旁部首对应英文的词根词缀,中文的字和词是对应英文的词。(补:英文还有词组,但是中文的词不能对应。)

会不会使用中文的人,句库的句子数量要高于英文使用者。因为对于整句匹配来说,英文中分词的空格就是无意义的,但是占用了空间,中文的空间效率要高。但是中文整句匹配不成功时,要进行分词,英文不用,此时英文的时间效率又高。

机器做自然语言处理时,也需要对应的语料库。并且,如果机器的存储能力高于人类,以至于大部分语言内容都可以在句库一级直接匹配,以大数据的逻辑,是不是机器的理解能力会超过人类呢。这其中可能也会有空间换时间的问题,但是机器最起码可能会赶上人类。

还有一个关键的问题是创造力。即便机器储存一个比人脑更全的句库,如果没有创造力的话还是无法与人类匹敌。

创造本身是有逻辑的,还是偶然的呢?还是逻辑与偶然结合的呢?

有的人可能会相信直觉,认为那是灵机一动,来自于灵感,而不是来自于外部刺激与内部经验的结合。

一个理性的人,会认为创造力是有逻辑可寻的,是有原因的。受别人的影响而不自知,却当成是自己的灵感,是很愚蠢的事。这世界上根本就不存在灵感这回事。

这到底是不是一个因果逻辑的世界,是不是所有的事情都有其原因呢?

还是说,宏观上是一个逻辑的世界,微观上都是偶然的。又或者,微观上是有原因可寻的,宏观上是偶然的。

再或,是逻辑与偶然的结合。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容

  • 常用概念: 自然语言处理(NLP) 数据挖掘 推荐算法 用户画像 知识图谱 信息检索 文本分类 常用技术: 词级别...
    御风之星阅读 9,148评论 1 25
  • 转载请注明:终小南 » 中文分词算法总结 什么是中文分词众所周知,英文是以 词为单位的,词和词之间是靠空格隔开,而...
    kirai阅读 9,800评论 3 24
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,478评论 25 707
  • 为何想写这篇文章?缘起两天前一位妈妈在微信上对我的倾诉。 她看了我在2月6号写的一篇关于原生家庭的文章: www....
    一条小鲷鱼阅读 810评论 0 0
  • 有个朋友在做建材类橱柜定制,他自己有工人采购板材,按照客户需要定做产品,主要依靠以前建立起来的关系客户,没有自己独...
    黑面小生阅读 1,080评论 10 0