1.什么是朴素贝叶斯？
朴素贝叶斯，即先验概率（条件），判断事件A，在事件B已经发生的条件下，发生的概率！

条件概率举例.png

2.利用朴素贝叶斯进行分类的依据？
p(c1|x,y)>p(c2|x,y),那么类别就属于c1;
p(c2|x,y)>p(c1|x,y),那么类别就属于c2;
3.朴素贝叶斯算法的一般过程

1. 收集数据：可以使用任何方法。本章使用RSS源。
2. 准备数据：需要数值型或者布尔型数据
3. 分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果更好。
4. 训练算法：计算不同的独立特征的条件概率。
5. 测试算法：计算错误率。
6. 使用算法：一个常见的朴素贝叶斯应用是文档分类。可以在任意的分类场景中使用朴素贝叶斯分类器，不一定非要是文本。

4.算法实现的伪代码如下：
计算每个类别中的文档数目
对每篇训练文档：
对每个类别：
如果词条出现在文档中→ 增加该词条的计数值
增加所有词条的计数值
对每个类别：
对每个词条：
将该词条的数目除以总词条数目得到条件概率
返回每个类别的条件概率

代码示例

from numpy import zeros,ones,array
from math  import log
#定义读取数据的函数
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea',  'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how','to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]           #1代表侮辱性文字，0代表正常言论
    return postingList,classVec

#返回所有不重复的单词组成的集合
def createVocabList(dataSet):
    #创建一个空集
    vocabSet = set([])
    for document in dataSet:
        #创建两个集合的并集  
        vocabSet = vocabSet | set(document)
    return list(vocabSet)
x,y=loadDataSet() #读入训练集合和结果
wordlist=createVocabList(x)
print("单词集合如下：\n",createVocabList(x))
#将原始数据转换为向量数据，词集模型
def setOfWords2Vec(vocabList, inputSet):
    #创建一个其中所含元素都为0的向量 
    returnVec = [0]*len(vocabList) #由文档中所有单词构建的list
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else: print ("the word: %s is not in my Vocabulary!" % word)
    return returnVec
data_x=setOfWords2Vec(wordlist,x[0])
print(data_x)
#词袋模型
def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
    return returnVec
    #查看生成的向量

#定义概率函数
def trainNB0(trainMatrix,trainCategory):#输入x和y
    numTrainDocs=len(trainMatrix) #返回记录的行数
    numWords = len(trainMatrix[0])#返回矩阵的列数
    pAbusive = sum(trainCategory)/float(numTrainDocs) #返回y=1发生的概率
    #（以下两行）初始化概率为0
    p0Num = ones(numWords); p1Num = ones(numWords) 
    p0Denom = 2.0; p1Denom = 2.0
    for i in range(numTrainDocs): #对每一行记录进行处理
        if trainCategory[i] == 1:#对于y=1的记录
            #（以下两行）向量相加 
            p1Num += trainMatrix[i]   #构建y=1的单词集合
            p1Denom += sum(trainMatrix[i]) #统计y=1中单词的数目
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
   p1Vect =[log(x) for x in p1Num/p1Denom]  #change to log()
    #对每个元素做除法
    p0Vect = [log(x) for x in p0Num/p0Denom]   #change to log()
    return p0Vect,p1Vect,pAbusive
#构建训练样本
data_x=[]
for postinDoc in x:
    data_x.append(setOfWords2Vec(wordlist, postinDoc))  
#训练样本概率
p0V,p1V,pAb=trainNB0(data_x,y)  

#定义测试函数
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    #❶ 元素相乘
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if p1 > p0:
        return 1
    else:
        return 0

#定义主要函数
def testingNB():
    #读入数据
    listOPosts,listClasses = loadDataSet()
    #生成wordlist
    myVocabList = createVocabList(listOPosts)
    #构建特征向量
    trainMat=[]
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
    #计算条件概率，单词a在正常邮件出现的概率，在垃圾邮件出现的概率，垃圾邮件出现的概率
    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
    testEntry = ['love', 'my', 'dalmation']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print (testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))
    testEntry = ['stupid', 'garbage']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print (testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)) 
```