📜 我们能够解决的一些常见的基础任务
🥰 2020年9月3日
一、NLP介绍
NLP = NLU + NLG
- NLU(Natural Language Understanding): 语音/文本 → 意思
- NLG(Natural Language Generation): 意思 → 文本/语音
- NLP(Neuro Linguistic Program): 神经语言学
二、现存的挑战
1. 多种表达意思
- 贪心-京东开设了NLP训练营
- 贪心-京东新出了NLP训练营
- 新出的NLP训练营是贪心-京东出品的
2. Ambiguity(歧义、一词多义)
- 今天参观了苹果公司
- 现在正好是苹果季节
三、统计机器翻译
💡 当我们统计分析的方式翻译时,就会出现Broken English
比如,“今晚的课程有意思”会翻译为Tonight is course has interesting,是不符合语法的
所以,通过语言模型我们就可以生成比较合乎语法的翻译结果
四、自然语言处理中的基础任务
- 分词
- 词性标注(POS)
- 命名实体识别(NER)
- 句法分析(Syntatic Analysis)
- 语义分析(Semantic Analysis)