特征选择
- TF-IDF原理以及利用其进行特征筛选
- 互信息的原理以及利用其进行特征筛选
TF-IDF
- 原理：
如何提取一篇文章的的关键词？
文章关键词：指能体现一篇文章或一部著作的中心概念的词语。指检索资料时所查内容中必须有的词语。
那么查找文章关键词需要，在文章中出现次数多，且是非停用词的词，且在文章中重要程度高的词。如何衡量某个词的重要程度则为TF-IDF的重点部分，因为在文章中出现次数多的词语，有可能是常见词语比如：“中国”、“学习”等与文章中心概念不相关的词汇，为了筛选这样的词汇，则需要一个重要性调节系数，来衡量这个词是不是常见词。那么如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。
- 词频（TF）
查找关键字前，统计词在文章中出现的次数
- 为了便于不同文章的比较，进行“词频”标准化
或者
- 逆文档频率（IDF）
在词频的基础上，要对每个词分配一个"重要性"权重。最常见的词（"的"、"是"、"在"）给予最小的权重，较常见的词（"中国"）给予较小的权重，较少见的词给予较大的权重。
此时需要一个语料库，用来模拟语言的使用环境
-
计算TF-IDF
- 利用TF-IDF进行特征筛选
- 使用sklearn提取文本tfidf特征
def tfidf_weight_sklearn(words):
'''
使用sklearn提取文本tfidf特征
'''
vectorizer = CountVectorizer() # 将词语转换成词频矩阵
transformer = TfidfTransformer() # 将统计每个词语的tf-idf权值
tfidf = transformer.fit_transform(vectorizer.fit_transform(words))
word = vectorizer.get_feature_names() # 获取词袋模型中的所有词语
weight = tfidf.toarray()
weight = pd.DataFrame(weight,columns = word)
return weight
- 使用gensim提取文本tfidf特征
def tf_idf_weight_gensim(words):
'''
使用gensim提取文本的tfidf特征
'''
word_list = [ sentence.split(' ') for sentence in words]
# 赋给语料库中每个词(不重复的词)一个整数id
dictionary = corpora.Dictionary(word_list)
# 通过下面的方法可以看到语料库中每个词对应的id
print(dictionary.token2id)
new_corpus = [dictionary.doc2bow(text) for text in word_list]
# 载入模型
tfidf = models.TfidfModel(new_corpus)
tfidf.save("my_model.tfidf")
# 使用模型计算tfidf值
tfidf = models.TfidfModel.load("my_model.tfidf")
tfidf_vec = []
for text in words:
string_bow = dictionary.doc2bow(text.lower().split())
tfidf_vec.append(tfidf[string_bow])
return tfidf_vec
其中训练数据为以下数据：
corpus = [
'this is the first document',
'this is the second second document',
'and the third one',
'is this the first document'
]
gensim赋给训练数据的每个词的id如下：
词-id对应字典
第一句话词id对应TF-IDF值list
第一句话为
'this is the first document'，但是由最终的结果可以看出最终结果去除了停用词the，可知gensim有自动去除停用词的功能；
- 利用
python自己实现
其中不依赖库的情况下，计算出的TF-IDF值准确性较低，仅仅作为练习
def get_tf(word_list, words_count):
'''
根据分词列表以及词频列表计算词频
'''
words_tf = []
for i in range(len(word_list)):
word_tf_dict = dict()
for word in word_list[i]:
print(words_count[i][word])
word_tf_dict[word] = words_count[i][word] / sum(words_count[i].values())
words_tf.append(word_tf_dict)
return words_tf
def get_contain(word, word_list):
count = 0
for text in word_list:
if word in text:
count += 1
return count
def get_idf(word_list):
# 统计包含该词的文档数
all_text = []
for text in word_list:
all_text += text
all_word = list(set(all_text))
word_idf = dict()
for word in all_word:
word_count = get_contain(word, word_list)
word_idf[word] = math.log(len(word_list) / (1 + word_count))
return word_idf
def get_tfidf(words):
'''
手动实现TF-IDF
'''
# 分词
word_list = [sentence.split(' ') for sentence in words]
# 统计词频
sentence_list = []
for sentence in word_list:
sentence_list.append(Counter(sentence))
# 计算tf值
words_tf = get_tf(word_list, sentence_list)
# 计算idf值
words_idf = get_idf(word_list)
# 计算TF-IDF
tf_idf_weight = []
for i in range(len(word_list)):
tf_idf_dict = dict()
for word in word_list[i]:
tf_idf_dict[word] = words_tf[i][word] * words_idf[word]
tf_idf_weight.append(tf_idf_dict)
# 转成DataFrame
tf_idf = pd.DataFrame()
for word in words_idf.keys():
value = []
for text in tf_idf_weight:
if word in text.keys():
value.append(text[word])
else:
value.append(0.0)
tf_idf[word] = value
return tf_idf
互信息
- 原理
-
点互信息PMI
公式如下：
如果x,y不相关，则
如果x,y相关，则当二者相关性越大相比于
则越大
在出现的情况下
出现的条件概率
除以
，自然就表示x跟y的相关程度。
- 互信息MI
用来衡量两个数据分布的吻合程度
其中值越大意味着结果与真实情况越吻合
公式如下：
其衡量的是两个随机变量之间的相关性，即一个随机变量中包含的关于另一个随机变量的信息量；
所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分布进行取值的变量，比如随机抽查的一个人的身高就是一个随机变量；
其中互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和。
# 互信息
labels_true = [0, 0, 0, 1, 1, 1]
labels_pred = [0, 0, 1, 1, 2, 2]
mr.adjusted_mutual_info_score(labels_true, labels_pred)
完整代码见github
