TF-IDF笔记

1. TFIDF介绍

1.1 基本概念

TF(Term Frequency)：代表词频，表示词在某篇文章中出现的频次，一般情况下词频越大，代表该词在本篇文章中重要度比较高（此处是过滤掉停用词stopword之后的词）

IDF(Inverse Document Frequency)：逆文档频率，即在整个词库中，某个词的权重。

如对于非常常见的词（的，是），赋予最小的权重

对于较常见的词（中国），赋予较小的权重

对于很少常见的词，赋予较大的权重

其中，词语由t表示，文档由d表示，语料库由D表示。词频TF(t,d)是词语t在文档d中出现的次数。文件频率DF(t,D)是包含词语的文档的个数。

TF-IDF：TF值和IDF值的乘积，TF-IDF的值越大，代表这个词对该篇文章的重要度越大，取排名前几的词可以作为该篇文章的关键词。

1.2 计算公式

TF：计算较为简单，首先对文档进行分词，去掉停用词之后，统计每个词出现的次数，由于多篇文章的长短不一致，所以需要对这个值进行标准化，如下：

TF = 某个词在文章中出现的频次/文章总词数或者
TF = 某个词在文章中出现的频次 / 拥有最高频次的词的频次

IDF计算公式

其中|D|为语料库中文档数，公式中使用log函数，当词出现在所有文档中时，它的IDF值变为0。加1是为了避免分母为0的情况。

通过公式可以看出，IDF与词的常见程度成反比。

1.3 应用

平时在工作中用到TFIDF一般是获取文章关键词，结合余弦向量相似度获取两篇文章相似度

2. Spark MLlib计算TFIDF

在Spark MLlib中 TFIDF分为TF (+hashing) 和 IDF。

2.1. TF

HashingTF 是一个Transformer，在文本处理中，接收词条的集合然后把这些集合转化成固定长度的特征向量。这个算法在哈希的同时会统计各个词条的词频。

Spark.mllib 中实现词频率统计使用特征hash的方式，原始特征通过hash函数，映射到一个索引值。后面只需要统计这些索引值的频率，就可以知道对应词的频率。这种方式避免设计一个全局1对1的词到索引的映射，这个映射在映射大量语料库时需要花费更长的时间。但需要注意，通过hash的方式可能会映射到同一个值的情况，即不同的原始特征通过Hash映射后是同一个值。为了降低这种情况出现的概率，我们只能对特征向量升维。i.e., 提高hash表的桶数，默认特征维度是 2^20 = 1,048,576.

如下图所示为将对分词的文档集合进行hashingTF向量转化，设置hash桶为2000，得出的hashingTF值为：

//文档集合
val data:RDD[(Int, String)] = spark.parallelize(Seq(
          (0, "I heard about Spark and I love Spark"),
           (0, "I wish Java could use case classes"),
           (1, "Logistic regression models are neat")))

//空格分词
val doc_words: RDD[(Int, Array[String])] = data.map(doc => (doc._1, doc._2.toLowerCase().split(" ")))


//HashingTF->把句子Hash成特征向量,这里设置Hash表的桶数为2000
val hashTF = new HashingTF(numFeatures = 2000)

//将每个文档转成hash和词频向量
val tf_feature = doc_words.map(x=>(hashTF.transform(x._2.toSeq)))
tf_feature.map(x=>println(x))
//结果为：(2000,[240,333,1105,1329,1357,1777],[1.0,1.0,2.0,2.0,1.0,1.0])
//      (2000,[213,342,489,495,1329,1809,1967],[1.0,1.0,1.0,1.0,1.0,1.0,1.0])
//      (2000,[286,695,1138,1193,1604],[1.0,1.0,1.0,1.0,1.0])

可以看出，分词序列被变换成一个稀疏特征向量，其中每个单词都被散列成了一个不同的索引值，特征向量在某一维度上的值即该词汇在文档中出现的次数。

2.2. IDF

IDF：在一个数据集上应用它的fit() 方法，产生一个IDFModel。该IDFModel 接收特征向量（由HashingTF产生）,产生一个IDFModel, IDFModel是一个Transformer，调用它的transform()方法，即可得到每一个单词对应的TF-IDF度量值。。使用IDF来对单纯的词频特征向量进行修正，使其更能体现不同词汇对文本的区别能力。

val idf = new IDF()
val idf_model = idf.fit(tf_feature) //生成IDF Model
val tf_idf = idf_model.transform(tf_feature)
tf_idf.collect().map(println)
//结果为：
//(2000,[240,333,1105,1329,1357,1777],[0.6931471805599453,0.6931471805599453,1.3862943611198906,0.5753641449035617,0.6931471805599453,0.6931471805599453])
//(2000,[213,342,489,495,1329,1809,1967],[0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453,0.28768207245178085,0.6931471805599453,0.6931471805599453])
//(2000,[286,695,1138,1193,1604],[0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453])

3. TFIDF优缺点

优点：简单快速，结果符合实际情况
缺点：单纯以词频衡量词的重要性，不够全面，有时重要的词出现的次数不多，而且对词的出现位置没有设置，出现位置靠前的词和出现位置靠后的词的重要性一样，可以对全文的第一段或者每一段的第一句给予较大的权重。

参考：
http://www.ruanyifeng.com/blog/2013/03/tf-idf.html
http://dblab.xmu.edu.cn/blog/1473-2/