自然语言处理基本流程与应用

自然语言处理是人工智能皇冠上的明珠

自然语言处理的基本流程:

  • 分词(Segment)
  • 命名实体识别(NER)
  • 词性标注(Pos Tagging)
  • 句法分析(短语结构分析、句子依存分析)
  • 语义分析(包括:语义消歧,主要针对多义词在文中的意思;语义角色标注,主要是标注出一个句子中主谓宾状语等。语义角色标注过于依赖句法分析的准确性,不过目前句法分析的准确性并不是特别高,因此语义角色标注的效果一般。)
  • 篇章分析(在一篇文章中段落的顺序、句子的顺序都是很重要的,按照正确的表达序列排序才能构成完整的篇章。在篇章分析中可以划分的结构有篇章-段落-句子-词、篇章-句子-词、篇章-词等。)
    以上的六个基本流程是自然语言处理中无法绕开的步骤,也是做好自然语言处理中最重要的环节。

自然语言处理的应用:

  • 文本分类与情感分析(如:新闻自动分类、商品评价情感分析)
  • 信息抽取与自动文摘(如:非结构化数据中抽取实体信息)
  • 问答系统(如:IBM的Watson系统)
  • 信息检索(如:搜索引擎)
  • 人机对话系统Chatbot(如:微软小冰)
  • 机器翻译(如:谷歌翻译)

参考 自然语言处理简述

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容