自然语言处理是人工智能皇冠上的明珠
自然语言处理的基本流程:
- 分词(Segment)
- 命名实体识别(NER)
- 词性标注(Pos Tagging)
- 句法分析(短语结构分析、句子依存分析)
- 语义分析(包括:语义消歧,主要针对多义词在文中的意思;语义角色标注,主要是标注出一个句子中主谓宾状语等。语义角色标注过于依赖句法分析的准确性,不过目前句法分析的准确性并不是特别高,因此语义角色标注的效果一般。)
-
篇章分析(在一篇文章中段落的顺序、句子的顺序都是很重要的,按照正确的表达序列排序才能构成完整的篇章。在篇章分析中可以划分的结构有篇章-段落-句子-词、篇章-句子-词、篇章-词等。)
以上的六个基本流程是自然语言处理中无法绕开的步骤,也是做好自然语言处理中最重要的环节。
自然语言处理的应用:
- 文本分类与情感分析(如:新闻自动分类、商品评价情感分析)
- 信息抽取与自动文摘(如:非结构化数据中抽取实体信息)
- 问答系统(如:IBM的Watson系统)
- 信息检索(如:搜索引擎)
- 人机对话系统Chatbot(如:微软小冰)
- 机器翻译(如:谷歌翻译)
参考 自然语言处理简述