朴素贝叶斯算法——以20Newsgroups数据集为例

​本文作者:陈 鼎 中南财经政法大学统计与数学学院

文字编辑:任 哲

技术总编:张馨月

  朴素贝叶斯分类器是由英国数学家托马斯·贝叶斯提出的。该模型使用概率统计的知识对样本数据集进行分类,通过计算条件概率进行最终决策。朴素贝叶斯分类器的基本思想是,若在给定条件下,预测的某个样本属于某个类别的条件概率最大,则将该样本判定为该类别。朴素贝叶斯分类器在数据集较大的情况下表现出较高的准确率,同时算法本身也较为简单。在之前的推文《基于贝叶斯定理的算法——朴素贝叶斯分类》中,我们对该算法进行过简单了解。今天,本文基于20Newsgroups数据集,利用朴素贝叶斯算法,对20Newsgroups数据集进行文本分类,并对其分类结果进行简要阐述。

一、算法简介

(一)朴素贝叶斯模型

  设有样本数据集D = {d1,d2,d3,.....,dn},对应样本数据的特征属性为X = {x1,x2,x3,.....,xn1},类变量为Y = {y1,y2,y3,.....,yn2}(即我们所预测的分类结果可以是第ym类(m=1,2,3,...,n2))。样本数据的特征属性之间相互独立,由贝叶斯公式可知,在给定特征值(x1,x2,x3,....,xn1)的条件下,我们预测的样本属于第ym类(m=1,2,3,...,n2)的条件概率为:
image

  分析上述公式,容易得出,在给定一个样本的状态下,P(x1,x2,x3,....,xn1)的概率值是固定不变的,与类变量无关。因此,要想比较在某个给定样本下该样本属于不同类别的后验概率,仅需比较P(x1,x2,x3,...,xn1|ym)P(ym)部分即可。因此,我们有如下判别公式:
image

  在朴素贝叶斯模型中,不同的特征属性相互独立,因此,上述公式等价于:
image

  需注意,如果某个属性值在训练集中没有与某个类别同时出现过,以上述判别公式计算后验概率时,将出现概率为0的问题。为了避免其他属性携带的信息被训练集的不充分所抹去,常用拉普拉斯平滑给予修正。
image

  α的系数一般为1,Ni为在ym类别中xi特征出现的次数,N为在ym类别下所有特征出现的次数和,m为训练样本中统计的特征个数。显然,拉普拉斯修正避免了因为训练集样本的不充分导致的概率估计值为0的问题。

(二)20Newsgroups数据集与文本分类

  20Newsgroups数据集收录了共18000篇新闻文章(D={d1,d2,....,d18000}),涉及20种新闻分类(Y={y1,y2,y3,..,y20})。该数据集常用于文本分类,即在给定的一篇文章中,统计文章中出现的重点词频数,根据重点词的频数分布判定文章所属的类别。数据集中的新闻文本内容及新闻分类如图所示:
image

                图1.数据集的新闻文本内容
image

              图2.数据集的新闻分类(即y1,y2,...,y20)

二、代码实现

(一)导入数据集

from sklearn.datasets import fetch_20newsgroups #导入模块
news_data = fetch_20newsgroups(subset="all") #读取数据

(二)划分训练集,测试集

  将导入的20Newsgroups数据集划分为训练集与测试集,利用训练集训练模型,用测试集测试模型的预测结果与预测精度。通常使用sklearn.model_selection模块中的train_test_split方法对数据集进行划分,实现过程如下:

from sklearn.model_selection import train_test_split #导入模块
x_train,x_test,y_train,y_test = train_test_split(news.data,news.target,test_size=0.25)

  其中,各变量及参数的含义如下:

变量 含义
x_train 训练集中的新闻文本数据
x_test 测试集中的新闻文本数据
y_train 训练集中的数据特征对应的新闻分类结果
y_test 测试集中的数据特征对应的新闻分类结果
test_size 用于设定测试集占数据集的样本比例,test_size=0.25表示测试集占总数据集比例的25%

(三)数据的预处理——特征工程

  特征工程,是将原始数据转化为特征的过程,这些特征可以更好地向预测模型描述潜在问题,从而提高模型对未见数据的准确性。特征工程直接影响着模型的预测结果。在本案例中,我们需要将新闻文本数据进行特征工程处理,即将新闻文本进行分词,统计每个词的出现频数,将具有代表性的词汇与文本分类结果对应。

  常用于文本分类的特征工程为Tfidf(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)。它是一种常见的加权统计方法,用于评估每个词汇对每篇文章的重要程度。其基本思想为:如果某个词在某一篇文章中出现的频率较高,而在其他文章中很少出现,则认为这个词具有很好的类别区分能力。我们导入sklearn.feature_extraction.text中的TfidfVectorizer方法,即可对新闻文本数据进行重点词抽取。

from sklearn.feature_extraction.text import TfidfVectorizer
tf = TfidfVectorizer() #实例化
x_train = tf.fit_transform(x_train) #将训练集中的新闻文本数据进行特征抽取,返回一个sparse矩阵
x_test = tf.transform(x_test) #将测试集中的新闻文本数据进行特征抽取,返回一个sparse矩阵

(四)使用朴素贝叶斯分类器进行分类

  首先,导入所需的API模块。

from sklearn.naive_bayes import MultinomialNB

  实例化一个朴素贝叶斯分类器,并将我们的训练集特征与训练集特征对应的分类结果导入到模型中,供分类器学习。

bayes = MultinomialNB(alpha=1.0) #alpha为拉普拉斯修正的α
bayes.fit(x_train,y_train) 

  传入测试集,进行预测,并打印预测结果与预测精度。

y_predict = bayes.predict(x_test)
print("测试集的预测结果为:",y_predict)
print("模型的预测准确率为:",bayes.score(x_test,y_test))
image

              图3.显示预测结果与预测精度

  分析上述预测结果与预测精度可以看出,测试集中的第一篇文章被分类为第11类,第二篇文章被分类为第17类....,模型预测的准确率为84.65%,属于相对可以接受的范围。

  到这里,我们就完成了朴素贝叶斯算法的基本实现。最后,我们来简单总结一下它的优缺点。

  该算法的优点在于:

  (1)朴素贝叶斯发源于古典概率统计理论,很好地利用了先验信息,具有相对稳定的分类效率;

  (2)对缺失值数据不太敏感,算法较为简单,具有一定的鲁棒性;

  (3)分类的速度相对较快,准确率也相对较高。

  但是,朴素贝叶斯分类器也有如下几个缺点:

  (1)依赖于利用训练集来计算先验概率,如果训练集的表现不佳,则对模型的预测结果也会有一定影响;

  (2)朴素贝叶斯分类器假设每个特征之间是相互独立的,但是在文本分类中,不同词之间的出现频率往往不是互相独立的;

  (3)朴素贝叶斯分类器没有超参数供我们进行调参,模型相对较难优化。

三、源码

from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.datasets import fetch_20newsgroups

def naive_bayes():
    #1.读取数据
    news_data = fetch_20newsgroups(subset="all")
    #2.划分训练集,测试集
    x_train,x_test,y_train,y_test = train_test_split(news_data.data,news_data.target,test_size=0.25)
    #3.进行特征抽取
    tf = TfidfVectorizer()
    x_train = tf.fit_transform(x_train)
    x_test = tf.transform(x_test)
    #4.进行朴素贝叶斯算法分类
    bayes = MultinomialNB(alpha=1.0)
    bayes.fit(x_train,y_train)
    y_predict = bayes.predict(x_test)
    print("测试集的预测结果为:",y_predict)
    print("模型的预测准确率为:",bayes.score(x_test,y_test))

if __name__ == '__main__':
    naive_bayes()
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,692评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,482评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,995评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,223评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,245评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,208评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,091评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,929评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,346评论 1 311
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,570评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,739评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,437评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,037评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,677评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,833评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,760评论 2 369
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,647评论 2 354