NLP之从句子中提取单词步骤

浅层自然语言处理技术可以用来从句子中提取单词，其步骤为：

1、将句子转换为小写

2、删除停顿词(这些是在一种语言中常见的词。诸如 for、 very、 and、 of、 are 等词是常见的停止词)

3、从给定的文本序列中提取 n-gram，即 n 个项目的连续序列(简单地增加 n，模型可以用来存储更多的上下文)

4、分配一个句法标签(名词，动词等)

5、通过语义/语法分析器方法从文本中提取知识，例如，尽量保留在名词/动词这样的句子中重量较高的词

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容