断句,
分词,
词性标注,,
命名实体识别,,
一、NLTK进行分词
用到的函数:
nltk.sent_tokenize(text)#对文本按照句子进行分割
nltk.word_tokenize(sent)#对句子进行分词
二、NLTK进行词性标注
用到的函数:
nltk.pos_tag(tokens)#tokens是句子分词后的结果,同样是句子级的标注
三、NLTK进行命名实体识别(NER)
用到的函数:
nltk.ne_chunk(tags)#tags是句子词性标注后的结果,同样是句子级
四、句法分析
nltk没有好的parser,推荐使用stanfordparser