背景介绍

有一批不同分类的标题数据，每个标题中有不同的命名实体，需要提取每个分类的标题模板。所以，这里对标题进行命名实体提取并格式化处理形成标题模板数据。

实现代码

使用hanlp提取命名实体。

from pyhanlp import *
segment = HanLP.newSegment().enableOrganizationRecognize(True).enableNameRecognize(True);
print(segment)

#或者通过分词实现
NLPTokenizer = JClass("com.hankcs.hanlp.tokenizer.NLPTokenizer")
template = []
with open("/data/competition_title_5000.txt","r") as f:
    lines = f.read().split("\n")
    for line in lines:
        outstr = ""
        list = (NLPTokenizer.segment(line))
        for word in list:
            if word.nature.toString().startswith('nt'):
                outstr +='{org}'
            elif word.nature.toString().startswith('ns'):
                outstr +='{addr}'
            elif word.nature.toString().startswith('nr'):
                outstr += '{persons}'
            elif word.nature.toString().startswith('t'):
                outstr += '{date}'
            else:
                outstr += word.word
        print(outstr)
        template.append(outstr)

#将处理后的文本写入文件        
with open("/data/competition_template_5000.txt","w") as f:
    i = 0
    for t in template:
        i = i + 1
        message = "%s|%s|%s\n"%(i,len(t),t)
        f.write(message)
        print(message)

总结

这里使用hanlp方式提取命名实体。也可以使用百度NLP，这两种是我们优选出来的命名实体提取框架，同时百度NLP应用效果稍好一些，支持自定义增加命名实体。近期，腾讯的NER命名实体提取框架也出来了，后期会分享一篇这三者NER效果对比。