python如何实现命名实体识别（NER）

写在前面

大学生们要写毕业设计（论文）了，有朋友理论部分已经写完了却不会编码。那么针对NLP（自然语言处理）的一个常见任务实体识别应该如何编码呢？
今天我们以 Python 语言为例，使用Spacy自然语言处理库来完成一个实体识别的demo。

你需要具备的知识

1. 可以写简单的 python 代码；
2. 知道依赖包的运用；

环境依赖

1. spacy==3.1.6
2. en_core_web_sm==3.1.0
   python 3.8+

我们的代码要做什么？

这一步我会描述代码会做什么，同时给出软件代码。

因为这是一个简单的示例，实现基本的实体识别。我们不会进行任何专业的配置，旨在让大家熟悉整个流程。后续，可以自行扩展学习。

文件名称：client.py
代码如下：

#!/usr/bin/env python  
# -*- encoding: utf-8 -*-  
"""  
@File       :  client.py    
@License    :  (C)Copyright 202-2021  
-------------------------------------  
@Modify Time:  2023/9/21 08:43  
@Author     :  
@Version    :  1.0  
@Description :  
"""  
import spacy  

# 加载语言模型
nlp = spacy.load("en_core_web_sm")  
sample_text = "Over 200 youth from Kisumu County in Kenya, have today gotten a chance to take  part in a Golf programme by Safaricom held at Lolwe Grounds."  
# 将待处理文本放入管道处理
doc = nlp(sample_text)  
# 遍历并输出所有的命名实体及对应的标签 
for ent in doc.ents:  
    print(ent, ent.label_)

测试程序代码

这一步我们会在 pycharm 中运行代码程序，确保其行为符合预期。
效果图
点击绿色运行按钮，启动程序
![[实体识别结果.png|600]]

其中

可见共识别出了6个命名实体

Over 200 CARDINAL
Kisumu County GPE
Kenya GPE
today DATE
Safaricom ORG
Lolwe Grounds FAC

问题

1. 运行失败
   请检查你的python版本和依赖版本是否正确。
2. 如何安装模型en_core_web_sm
   spacy包安装成功以后，直接在终端（Terminal而不是Python Console）运行以下命令

python -m spacy download en_core_web_sm

如果因为网络等问题无法完成安装，也可手动下载安装
模型下载地址：https://github.com/explosion/spacy-models/releases/tag/en_core_web_sm-3.1.0
你会得到文件：en_core_web_sm-3.1.0-py3-none-any.whl
模型文件所在目录启动终端（terminal），运行以下命令安装

pip install en_core_web_sm-3.1.0-py3-none-any.whl 

未提示错误则表示安装已成功

结尾

我们从零开始完成了一个命名实体识别的代码程序。但是这还远远不够，可能你现在会想中文可以吗？我可以自定义实体类型吗？我可以添加实体词典吗？
未来，我们可以就这些问题进行更深入的学习。我也可以提前告诉你，这些都可以实现。