4-2节朴素贝叶斯|训练算法：从词向量计算概率|机器学习实战-学习笔记

文章原创,最近更新：2018-08-20

学习参考链接:第4章基于概率论的分类方法：朴素贝叶斯

本章节的主要内容是:
重点介绍项目案例1:屏蔽社区留言板的侮辱性言论:训练算法：从词向量计算概率的代码。

1.朴素贝叶斯项目案例介绍:

项目案例1:

屏蔽社区留言板的侮辱性言论

项目概述:

构建一个快速过滤器来屏蔽在线社区留言板上的侮辱性言论。如果某条留言使用了负面或者侮辱性的语言，那么就将该留言标识为内容不当。对此问题建立两个类别: 侮辱类和非侮辱类，使用 1 和 0 分别表示。

朴素贝叶斯工作原理:

提取所有文档中的词条并进行去重
获取文档的所有类别
计算每个类别中的文档数目
对每篇训练文档: 
    对每个类别: 
        如果词条出现在文档中-->增加该词条的计数值（for循环或者矩阵相加）
        增加所有词条的计数值（此类别下词条总数）
对每个类别: 
    对每个词条: 
        将该词条的数目除以总词条数目得到的条件概率（P(词条|类别)）
返回该文档属于每个类别的条件概率（P(类别|文档的所有词条)）

开发流程：

收集数据: 可以使用任何方法
准备数据: 从文本中构建词向量
分析数据: 检查词条确保解析的正确性
训练算法: 从词向量计算概率
测试算法: 根据现实情况修改分类器
使用算法: 对社区留言板言论进行分类

数据集介绍

这个数据集是我们自己构造的词表.

2.训练算法：从词向量计算概率

2.1测试算法：分类器未修改前

def trainNB0(trainMatrix, trainCategory):
    """
    训练数据原版
    :param trainMatrix: 文件单词矩阵 [[1,0,1,1,1....],[],[]...]
    :param trainCategory: 文件对应的标签类别[0,1,1,0....]，列表长度等于单词矩阵数，其中的1代表对应的文件是侮辱性文件，0代表不是侮辱性矩阵
    :return:
        p0Vect:    各单词在分类0的条件下出现的概率
        p1Vect:    各单词在分类1的条件下出现的概率
        pAbusive:    文档属于分类1的概率
    """
    # 文件数
    numTrainDocs = len(trainMatrix)
    # 单词数
    numWords = len(trainMatrix[0])
    # 侮辱性文件的出现概率,即trainCategory中所有的1的个数
    # 代表的就是多少个侮辱性文件,与文件的总数相除就得到了侮辱性文件的出现概率
    pAbusive = sum(trainCategory) / float(numTrainDocs)
    p0Num = np.zeros(numWords); p1Num =np.zeros(numWords)
    p1Num = np.zeros(numWords); p1Num =np.zeros(numWords)
    #整个数据集单词出现总数
    p0Denom = 0.0
    p1Denom = 0.0
    for i in range(numTrainDocs):
        if trainCategory[i]==1:
            p1Num += trainMatrix[i] #[0,1,1,....] + [0,1,1,....]->[0,2,2,...]
            # 对向量中的所有元素进行求和，也就是计算所有侮辱性文件中出现的单词总数
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    # 类别1，即侮辱性文档的[P(F1|C1),P(F2|C1),P(F3|C1),P(F4|C1),P(F5|C1)....]列表
    # 即 在1类别下，每个单词出现的概率
    p1Vect = p1Num / p1Denom# [1,2,3,5]/90->[1/90,...]
    # 类别0，即正常文档的[P(F1|C0),P(F2|C0),P(F3|C0),P(F4|C0),P(F5|C0)....]列表
    # 即 在0类别下，每个单词出现的概率
    p0Vect = p0Num / p0Denom
    return p0Vect, p1Vect, pAbusive

测试代码及其结果如下:

import bayes
listOPosts,listClasses =loadDataSet()
myVocabList = createVocabList(listOPosts)
trainMat =[]
for postinDoc in listOPosts:
    trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
    
p0V,P1V,PAb=bayes.trainNB0(trainMat, listClasses)

p0V
Out[93]: 
array([ 0.04166667,  0.04166667,  0.04166667,  0.04166667,  0.125     ,
        0.04166667,  0.        ,  0.        ,  0.04166667,  0.        ,
        0.04166667,  0.04166667,  0.04166667,  0.        ,  0.        ,
        0.        ,  0.04166667,  0.08333333,  0.04166667,  0.        ,
        0.04166667,  0.04166667,  0.04166667,  0.04166667,  0.04166667,
        0.        ,  0.        ,  0.04166667,  0.        ,  0.        ,
        0.04166667,  0.04166667])

P1V
Out[94]: 
array([ 0.        ,  0.        ,  0.        ,  0.        ,  0.        ,
        0.        ,  0.10526316,  0.05263158,  0.        ,  0.15789474,
        0.        ,  0.        ,  0.        ,  0.05263158,  0.05263158,
        0.05263158,  0.        ,  0.05263158,  0.        ,  0.05263158,
        0.10526316,  0.        ,  0.05263158,  0.05263158,  0.        ,
        0.05263158,  0.05263158,  0.        ,  0.05263158,  0.05263158,
        0.        ,  0.        ])

PAb
Out[95]: 0.5

2.2测试算法：根据现实情况修改分类器

对于此公式：

上一步做的工作仅仅是将各个分量求出来了(p(w)为1)，而没有进行p(w0|ci) * p(w1|ci) * p(w2|ci) * .... * p(wn|ci)的累乘，也没有进行概率大小的比较。

剩下的工作看似简单但在具体实现上也涉及到两个问题。

问题一：p(wn|ci) 中有一个为0，导致整个累乘结果也为0。这是错误的结论。
解决方法：将所有词的出现次数初始化为1，并将分母初始化为2。
问题二：即使 p(wn|ci) 不为0了，可是它的值也许会很小，这样会导致浮点数值类型的下溢出等精度问题错误。
解决方法：用 p(wn|ci) 的对数进行计算。

下图给出了函数 f(x) 与 ln(f(x)) 的曲线。可以看出，它们在相同区域内同时增加或者减少，并且在相同点上取到极值。它们的取值虽然不同，但不影响最终结果。

具体实现请参考下面代码。针对这两个问题，它对上一步的函数做了一点修改：

2.2.1修改的地方如下:

更改1

#更改前
    p0Denom = 0.0
    p1Denom = 0.0

#更改后
    p0Denom = 2.0
    p1Denom = 2.0

更改2

#更改前
    p0Num = np.zeros(numWords); p1Num =np.zeros(numWords)
    p1Num = np.zeros(numWords); p1Num =np.zeros(numWords)

#更改后
    p0Num = np.ones(numWords); p1Num =np.zeros(numWords)
    p1Num = np.ones(numWords); p1Num =np.zeros(numWords)

更改3

#更改前

    p1Vect = p1Num / p1Denom # [1,2,3,5]/90->[1/90,...]
    p0Vect = p0Num / p0Denom

#更改后
    from math import log
    p1Vect = log(p1Num / p1Denom)
    p0Vect = log(p0Num / p0Denom)

2.2.2修改后,完整的代码如下:

def trainNB0(trainMatrix, trainCategory):
    """
    训练数据原版
    :param trainMatrix: 文件单词矩阵 [[1,0,1,1,1....],[],[]...]
    :param trainCategory: 文件对应的标签类别[0,1,1,0....]，列表长度等于单词矩阵数，其中的1代表对应的文件是侮辱性文件，0代表不是侮辱性矩阵
    :return:
        p0Vect:    各单词在分类0的条件下出现的概率
        p1Vect:    各单词在分类1的条件下出现的概率
        pAbusive:    文档属于分类1的概率
    """
    # 总文件数
    numTrainDocs = len(trainMatrix)
    # 每个文件中的单词数
    numWords = len(trainMatrix[0])
    # 侮辱性文件的出现概率,即trainCategory中所有的1的个数
    # 代表的就是多少个侮辱性文件,与文件的总数相除就得到了侮辱性文件的出现概率
    pAbusive = sum(trainCategory) / float(numTrainDocs)
    # p0Num 正常的统计,p1Num 侮辱的统计
    p0Num = np.ones(numWords); p1Num =np.ones(numWords)
    # 整个数据集单词出现总数，2.0根据样本/实际调查结果调整分母的值（2主要是避免分母为0，当然值可以调整）
    # p0Num 正常的统计
    # p1Num 侮辱的统计
    p0Denom = 2.0
    p1Denom = 2.0
    for i in range(numTrainDocs):
        if trainCategory[i]==1:
            # 累加辱骂词的频次
            p1Num += trainMatrix[i] 
            # 对每篇文章的辱骂的频次 进行统计汇总
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    # 类别1，即侮辱性文档的[log(P(F1|C1)),log(P(F2|C1)),log(P(F3|C1)),log(P(F4|C1)),log(P(F5|C1))....]列表
    # log下什么都不写默认是自然对数 
    p1Vect = np.log(p1Num/p1Denom)
    # 类别0，即正常文档的[log(P(F1|C0)),log(P(F2|C0)),log(P(F3|C0)),log(P(F4|C0)),log(P(F5|C0))....]列表
    p0Vect = np.log(p0Num/p0Denom)
    return p0Vect, p1Vect, pAbusive

测试代码及其结果如下:

import bayes
listOPosts,listClasses =loadDataSet()
myVocabList = createVocabList(listOPosts)
trainMat =[]
for postinDoc in listOPosts:
    trainMat.append(setOfWords2Vec(myVocabList, postinDoc))

p0V,P1V,PAb=bayes.trainNB0(trainMat, listClasses)


p0V
Out[173]: 
array([-2.56494936, -2.56494936, -2.56494936, -2.56494936, -1.87180218,
       -2.56494936, -3.25809654, -3.25809654, -2.56494936, -3.25809654,
       -2.56494936, -2.56494936, -2.56494936, -3.25809654, -3.25809654,
       -3.25809654, -2.56494936, -2.15948425, -2.56494936, -3.25809654,
       -2.56494936, -2.56494936, -2.56494936, -2.56494936, -2.56494936,
       -3.25809654, -3.25809654, -2.56494936, -3.25809654, -3.25809654,
       -2.56494936, -2.56494936])

P1V
Out[174]: 
array([-3.04452244, -3.04452244, -3.04452244, -3.04452244, -3.04452244,
       -3.04452244, -1.94591015, -2.35137526, -3.04452244, -1.65822808,
       -3.04452244, -3.04452244, -3.04452244, -2.35137526, -2.35137526,
       -2.35137526, -3.04452244, -2.35137526, -3.04452244, -2.35137526,
       -1.94591015, -3.04452244, -2.35137526, -2.35137526, -3.04452244,
       -2.35137526, -2.35137526, -3.04452244, -2.35137526, -2.35137526,
       -3.04452244, -3.04452244])

PAb
Out[175]: 0.5

2.2.3小案例模拟以上代码

import bayes
listOPosts,listClasses =loadDataSet()
myVocabList = createVocabList(listOPosts)
trainMat =[]
for postinDoc in listOPosts:
    trainMat.append(setOfWords2Vec(myVocabList, postinDoc))

p0V,P1V,PAb=bayes.trainNB0(trainMat, listClasses)

首先来看看输入的数据trainMat长什么样子.

Out[103]:trainMat

再看看输入的数据listClasses长什么样子.

listClasses
Out[106]: [0, 1, 0, 1, 0, 1]

再看看其他数据是长什么样子的

numTrainDocs = len(trainMat)
numWords = len(trainMat[0])

numTrainDocs
Out[108]: 6

numWords
Out[109]: 32

sum(listClasses)
Out[110]: 3

float(numTrainDocs)
Out[111]: 6.0

pAbusive = sum(listClasses) / float(numTrainDocs)

pAbusive
Out[114]: 0.5

p0Num = np.ones(numWords); p1Num =np.ones(numWords)

p0Num
Out[116]: 
array([ 1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,
        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,
        1.,  1.,  1.,  1.,  1.,  1.])

p1Num
Out[117]: 
array([ 1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,
        1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,
        1.,  1.,  1.,  1.,  1.,  1.])

p0Denom = 2.0
p1Denom = 2.0
for i in range(numTrainDocs):
    if listClasses[i]==1:
        p1Num += trainMat[i] 
        p1Denom += sum(trainMat[i])
    else:
        p0Num += trainMat[i]
        p0Denom += sum(trainMat[i])
        

p1Num
Out[122]: 
array([ 1.,  1.,  1.,  1.,  1.,  1.,  3.,  2.,  1.,  4.,  1.,  1.,  1.,
        2.,  2.,  2.,  1.,  2.,  1.,  2.,  3.,  1.,  2.,  2.,  1.,  2.,
        2.,  1.,  2.,  2.,  1.,  1.])
p1Denom
Out[123]: 21.0

p0Num
Out[124]: 
array([ 2.,  2.,  2.,  2.,  4.,  2.,  1.,  1.,  2.,  1.,  2.,  2.,  2.,
        1.,  1.,  1.,  2.,  3.,  2.,  1.,  2.,  2.,  2.,  2.,  2.,  1.,
        1.,  2.,  1.,  1.,  2.,  2.])

p0Denom
Out[125]: 26.0

p0V
Out[126]: 
array([-2.56494936, -2.56494936, -2.56494936, -2.56494936, -1.87180218,
       -2.56494936, -3.25809654, -3.25809654, -2.56494936, -3.25809654,
       -2.56494936, -2.56494936, -2.56494936, -3.25809654, -3.25809654,
       -3.25809654, -2.56494936, -2.15948425, -2.56494936, -3.25809654,
       -2.56494936, -2.56494936, -2.56494936, -2.56494936, -2.56494936,
       -3.25809654, -3.25809654, -2.56494936, -3.25809654, -3.25809654,
       -2.56494936, -2.56494936])

P1V
Out[127]: 
array([-3.04452244, -3.04452244, -3.04452244, -3.04452244, -3.04452244,
       -3.04452244, -1.94591015, -2.35137526, -3.04452244, -1.65822808,
       -3.04452244, -3.04452244, -3.04452244, -2.35137526, -2.35137526,
       -2.35137526, -3.04452244, -2.35137526, -3.04452244, -2.35137526,
       -1.94591015, -3.04452244, -2.35137526, -2.35137526, -3.04452244,
       -2.35137526, -2.35137526, -3.04452244, -2.35137526, -2.35137526,
       -3.04452244, -3.04452244])

PAb
Out[128]: 0.5

p1Num/p1Denom
Out[129]: 
array([ 0.04761905,  0.04761905,  0.04761905,  0.04761905,  0.04761905,
        0.04761905,  0.14285714,  0.0952381 ,  0.04761905,  0.19047619,
        0.04761905,  0.04761905,  0.04761905,  0.0952381 ,  0.0952381 ,
        0.0952381 ,  0.04761905,  0.0952381 ,  0.04761905,  0.0952381 ,
        0.14285714,  0.04761905,  0.0952381 ,  0.0952381 ,  0.04761905,
        0.0952381 ,  0.0952381 ,  0.04761905,  0.0952381 ,  0.0952381 ,
        0.04761905,  0.04761905])

p0Num/p0Denom
Out[130]: 
array([ 0.07692308,  0.07692308,  0.07692308,  0.07692308,  0.15384615,
        0.07692308,  0.03846154,  0.03846154,  0.07692308,  0.03846154,
        0.07692308,  0.07692308,  0.07692308,  0.03846154,  0.03846154,
        0.03846154,  0.07692308,  0.11538462,  0.07692308,  0.03846154,
        0.07692308,  0.07692308,  0.07692308,  0.07692308,  0.07692308,
        0.03846154,  0.03846154,  0.07692308,  0.03846154,  0.03846154,
        0.07692308,  0.07692308])

p1Vect = np.log(p1Num/p1Denom)

p1Vect
Out[131]: 
array([-3.04452244, -3.04452244, -3.04452244, -3.04452244, -3.04452244,
       -3.04452244, -1.94591015, -2.35137526, -3.04452244, -1.65822808,
       -3.04452244, -3.04452244, -3.04452244, -2.35137526, -2.35137526,
       -2.35137526, -3.04452244, -2.35137526, -3.04452244, -2.35137526,
       -1.94591015, -3.04452244, -2.35137526, -2.35137526, -3.04452244,
       -2.35137526, -2.35137526, -3.04452244, -2.35137526, -2.35137526,
       -3.04452244, -3.04452244])

p0Vect = np.log(p0Num/p0Denom)

p0Vect
Out[132]: 
array([-2.56494936, -2.56494936, -2.56494936, -2.56494936, -1.87180218,
       -2.56494936, -3.25809654, -3.25809654, -2.56494936, -3.25809654,
       -2.56494936, -2.56494936, -2.56494936, -3.25809654, -3.25809654,
       -3.25809654, -2.56494936, -2.15948425, -2.56494936, -3.25809654,
       -2.56494936, -2.56494936, -2.56494936, -2.56494936, -2.56494936,
       -3.25809654, -3.25809654, -2.56494936, -3.25809654, -3.25809654,
       -2.56494936, -2.56494936])

2.2.4用数学公式演示2.2.1未改善前的代码

由此可以分别得到正常的言论与侮辱的言论数据集,如下:

由此可以分别得到相加后正常的言论与侮辱的言论数据集,如下:

由此可以得到P0V,P1V的值,具体如下:

P1V= p1Num / p1Denom,P0V=p0Num / p0Denom

3.相关知识点

知识点1:numpy.log(math.log)

学习参考链接:numpy.log(math.log)

以10为底：np.log10(x)

import numpy as np

np.log10(100)
Out[166]: 2.0

e为底 :log下什么都不写默认是自然对数

np.log(np.e)
Out[167]: 1.0

np.log(10)
Out[168]: 2.3025850929940459

2为底:直接将2写在前面即可

np.log2(4)

最后编辑于：2018.08.21 00:05:14

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 214,029评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,238评论 3赞 388
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 159,576评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,214评论 1赞 287
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,324评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,392评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,416评论 3赞 412
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,196评论 0赞 269
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,631评论 1赞 306
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,919评论 2赞 328
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,090评论 1赞 342
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,767评论 4赞 337
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,410评论 3赞 322
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,090评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,328评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,952评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,979评论 2赞 351

4-2节 朴素贝叶斯|训练算法：从词向量计算概率|机器学习实战-学习笔记