转|关键字提取技术概述

本人也有关键词提取的一些手段，这篇文章给了我一些启发。由谷歌翻译，原文见http://www.bnosac.be/index.php/blog/77-an-overview-of-keyword-extraction-techniques

在这篇博文中，我们将展示6种关键字提取技术，它们允许以纯文本查找关键字。关键词经常出现在纯文本中以某种方式出现的单词。常见的例子是纽约，蒙地卡罗，混合模型，布鲁塞尔霍夫斯特德莱克西南，公共交通，中央火车站，p值，...

如果您掌握了这些技巧，它可以让您轻松地从简单的词频统计到更多与业务相关的文本摘要。为此，我们将使用udpipe R软件包（文档位于https://CRAN.R-project.org/package=udpipe或https://bnosac.github.io/udpipe/en），它是您的核心R软件包需要进行这种类型的分机处理。我们将基本展示如何轻松提取关键字，如下所示：

通过使用词类标注来查找关键词以识别名词
基于搭配和共现找到关键词
基于Textrank算法查找关键词
基于RAKE（快速自动关键词提取）查找关键词
通过查找短语（名词短语/动词短语）查找关键字
根据依赖关系解析的结果查找关键字（获取文本的主题）

这些技术将允许您从显示愚蠢的单词图形转移到包含关键字的更相关的图表。

wordclouds

例

作为一个例子，我们将利用西班牙语的反馈意见去布鲁塞尔的AirBnB公寓。这些数据是udpipe R软件包的一部分。我们提取西班牙语文本并使用udpipe R软件包对其进行注释。注释执行标记化，词性标注，语法化和依赖性解析。

library(udpipe)
library(textrank)
library(tidyverse)
## First step: Take the English udpipe model and annotate the text. Note: this takes about several minutes
data(brussels_reviews)
db <- brussels_reviews %>% select(language == "es")
comments <- db[1:2000] # db is a character vector其实db是我自己的数据，所以后边的结果和原博是不一样的。
ud_model <- udpipe_download_model(language = "english") # 下载模型
ud_model <- udpipe_load_model(ud_model$file_model)
x <- udpipe_annotate(ud_model, x = comments) %>% as.data.frame

dpipe示例airbnb

一旦我们有了注释，找到关键词就轻而易举。让我们来展示如何轻松完成。

选项1：只提取名词

一个简单的方法来查找关键词是通过查看名词。如果您使用udpipe软件包对文本进行了注释，则每个术语都有一个词性标记，您可以按照以下方法轻松完成此操作。

stats <- x %>% filter(upos=="NOUN") %>% 
  pull(lemma) %>%  # 选择lemma这列并转成vector
  txt_freq # 词频

stats %>% head(30) %>% ggplot+ xlab("Word") + ylab("Freq") + geom_bar(aes(reorder(key, freq), freq), stat = "identity") + 
  coord_flip()

关键字plot1

选项2：搭配和共同出现

虽然名词是一个很好的开始，但您可能对多词表达式感兴趣。您可以通过查看搭配（单词的前后关系），每个句子内的单词共现或者彼此靠近的单词共同出现来获得多词表达。这些方法可以使用udpipe R软件包执行如下。如果我们将这与只选择名词和形容词相结合，这已经很好了。

## Collocation (words following one another) 搭配，这个用处不大
stats <- keywords_collocation(x = x, 
                              term = "token", group = c("doc_id", "paragraph_id", "sentence_id"),
                              ngram_max = 5) %>% arrange(desc(freq))

## Co-occurrences: How frequent do words occur in the same sentence, in this case only nouns or adjectives
stats <- x %>% filter(upos==c("NOUN", "ADJ")) %>% 
  cooccurrence(term = "lemma", group = c("doc_id", "paragraph_id", "sentence_id"))

## Co-occurrences: How frequent do words follow one another
stats <- cooccurrence(x = x$lemma, 
                      relevant = x$upos %in% c("NOUN", "ADJ"))

## Co-occurrences: How frequent do words follow one another even if we would skip 2 words in between
stats <- cooccurrence(x = x$lemma, 
                      relevant = x$upos %in% c("NOUN", "ADJ"), skipgram = 2)

这些共现的可视化可以使用如下的网络图进行，对于前30个最常见的共现名词和形容词，可以使用以下网络图进行。

library(igraph)
library(ggraph)
wordnetwork <- head(stats, 30)
wordnetwork <- graph_from_data_frame(wordnetwork)
ggraph(wordnetwork, layout = "fr") +
  geom_edge_link(aes(width = cooc, edge_alpha = cooc), edge_colour = "pink") +
  geom_node_text(aes(label = name), col = "darkgreen", size = 4) +
  theme_graph(base_family = "Arial") +
  theme(legend.position = "none") +
  labs(title = "Cooccurrences within 3 words distance", subtitle = "Nouns & Adjective")

选项3：Textrank（由Google Pagerank排序的单词网络）

关键字检测的另一种方法是Textrank。Textrank是一个在textrank R软件包中实现的算法。该算法允许汇总文本，并允许提取关键字。这是通过查看单词是否相互关联来构建单词网络来完成的。在该网络之上，应用“Google Pagerank”算法来提取相关单词，之后将相关的单词相互组合以获得关键词。在下面的例子中，我们感兴趣的是使用名词或形容词的算法来查找关键字。您可以从下面的图中看到，关键字将单词组合成多个单词表达式。

stats <- textrank_keywords(x$lemma, 
                           relevant = x$upos %in% c("NOUN", "ADJ"), 
                           ngram_max = 8, sep = " ")
stats <- stats$keywords %>% filter(ngram > 1 & freq >= 5)
# library(wordcloud)
# wordcloud(words = stats$keyword, freq = stats$freq)
library(wordcloud2)
stats %>% select(-ngram) %>% wordcloud2

选项4：快速自动关键字提取：RAKE

下一个基本算法叫做RAKE，它是Rapid Automatic Keyword Extraction的缩写。它通过查找不包含不相关词语的连续词语序列来查找关键词。即通过

为任何候选关键字的一部分计算每个单词的分数，这是通过
- 在候选关键词的词语中，该算法查看每个词语正在发生多少次以及它与其他词语共同发生多少次
- 每个单词得到一个分数，该分数是单词度（与其他单词共同出现多少次）与单词频率的比率
通过将定义候选关键字的每个单词的分数相加来计算完整候选关键词的RAKE分数

stats <- keywords_rake(x = x, 
                       term = "token", group = c("doc_id", "paragraph_id", "sentence_id"),
                       relevant = x$upos %in% c("NOUN", "ADJ"),
                       ngram_max = 5)
stats %>% filter(freq > 3) %>% head
# keyword ngram freq     rake
# 1       simple financial maturity model     4    5 6.464280
# 2 underplanted shortleaf pine seedlings     4    7 5.394276
# 3                     forest floor mass     3    5 5.015679
# 4                 timber product output     3    7 4.717157
# 5                  southern pine beetle     3    5 4.562666
# 6               shortleaf pine resource     3    4 4.208768

选项5：短语

下一个选项是提取短语。这些被定义为语音标签部分的序列。常用的短语类型是名词短语或动词短语。这个怎么用？（A：形容词，C：协调合成，D：确定者，M：动词的修饰语，N：名词或专有名词，P：介词）中的部分语音标签被重新编码为以下单字母之一。接下来，您可以定义一个正则表达式来指示要从文本中提取的部分语音标记的序列。

x$phrase_tag <- as_phrasemachine(x$upos, type = "upos")
stats <- keywords_phrases(x = x$phrase_tag, term = x$token, 
                          pattern = "(A|N)+N(P+D*(A|N)*N)*", 
                          is_regex = TRUE, ngram_max = 5, detailed = FALSE)
stats %>% filter(ngram > 2) %>% head

选项6：使用依赖关系解析输出获取标题主题和形容词

在最后一个选项中，我们将展示如何使用依赖关系解析的结果。当您使用udpipe执行注释时，dep_rel字段指示单词如何相互关联。令牌与使用token_id和head_token_id的父代相关。该dep_rel字段指示词是如何连在一起的。关系类型在http://universaldependencies.org/u/dep/index.html中定义。对于这个练习，我们将采用nsubj作为依赖关系的词语来表示名义主语，并且我们将这个正在改变名词主语的形容词加入到这个词中。

通过这种方式，我们可以将人们谈论的主题与他们使用的形容词结合起来。

stats <- merge(x, x, 
               by.x = c("doc_id", "paragraph_id", "sentence_id", "head_token_id"),
               by.y = c("doc_id", "paragraph_id", "sentence_id", "token_id"),
               all.x = TRUE, all.y = FALSE, 
               suffixes = c("", "_parent"), sort = FALSE)
stats <- subset(stats, dep_rel %in% "nsubj" & upos %in% c("NOUN") & upos_parent %in% c("ADJ"))
stats$term <- paste(stats$lemma_parent, stats$lemma, sep = " ")
stats <- txt_freq(stats$term)
# library(wordcloud)
# wordcloud(words = stats$key, freq = stats$freq, min.freq = 3, max.words = 100,
#           random.order = FALSE, colors = brewer.pal(6, "Dark2"))
stats %>% select(-freq_pct) %>% wordcloud2

END