基于贝叶斯决策理论的分类方法
- 贝叶斯理论的核心思想，即选择具有最高概率的决策
- 优点：在数据较少的情况下仍然有效，可以处理多类别问题
- 缺点：对于输入数据的准备方式较为敏感
- 适用数据类型：标称型数据
使用朴素贝叶斯进行文档分类
p(c_i|x,y)=p(x,y|c_i)p(c_i)/p(x,y)
- 概率越大说明，样本是ci的可能性越大
-
场景：在文档分类中整个文档是实例，而电子邮件中的某些元素则构成特征
- 朴素贝叶斯的一般过程
graph TD
收集数据/可以使用任何方法-->准备数据/需要数值型或者布尔型数据
准备数据/需要数值型或者布尔型数据-->分析数据/有大量特征时,绘制特征作用不大,此时使用直方图效果更好
分析数据/有大量特征时,绘制特征作用不大,此时使用直方图效果更好-->训练算法/计算不同的独立特征的条件概率
训练算法/计算不同的独立特征的条件概率-->测试算法/计算错误率
测试算法/计算错误率-->使用算法
-
贝叶斯假设：特征之间是相互独立的；每个特征同等重要
p(w_0|c_i)....P(w_n|c_i)=P(w_0,....,w_n|c_i)
文本分类的代码实现
- 准备数据：从文本中构建词向量
-
实现方法：把文件转换为文本向量（类似于一句一句的形式：一句一句的与词汇表进行对比分析，在句子中出现的词汇，词汇表对应的向量组中标记为1
-
#词表到向量的转换函数
def createVocbList(dataSet):
vocabSet=set([])
for document in dataSet:
vocabSet= vocabSet | set(document)
return vocabSet
#文档到文本向量
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vacabList:
returnVec[vocabList.index(word)]=1
else:
print("the word:" + word +"is no in our Vocabulary")
return returnVec
#训练算法：从词向量计算概率
#输入：trainMatrix-文档矩阵，trainCategory-文档标签所构成的向量
def trainNbB0(trainMatrix, trainCategory):
numTrainDocs = len(trainMatrix)
numWord = len(trainMatrix[0])
#计算P(ci),由于这里是处理二分类问题，因此只需要计算P(c1)，即侮辱性语句即可
pAbusive = sum(trainCategory)/float(numTrainDocs)
#计算各个词在不同类别中的总数
p0Num = zeros(numWord)
p1Num = zeros(numWord)
#计算不同类别的总次数
p0Demon = 0.0
p1Denom = 0.0
for i in range(numTrainDocs):
if trainCategory[i] == 1:
p0Num += trainMatrix[i]
p0Demon += sum(trainMatrix[i])
else:
p1Num += trainMatrix[i]
p1Demon += sum(trainMatrix[i])
p0Vect = p0Num/p0Demon
p1Vect = p1Num/p1Denom
return pAbusive,p0Vect,p1Vect
- 测试算法：根据现实情况修改分类器
-
问题1：在计算概率时，要计算多个概率的乘积，可能会出现其中某个概率为0，而导致最终的概率为0的情况
-
解决方法：为了避免这种情况的出现，可以将所有值初始化为1，并将分母初始化为2.
-
问题2：下溢出，因为太多很小的数相乘而导致最终结果很小，最后计算机进行四舍五入时会得到0.
- 词袋模型和词集模型：
- 词集模型：将每个词出现与否作为一个特征
- 词袋模型：每个词可以出现多次
#朴素贝叶斯词袋模型
def bagOfWords2VecMN(vocabList, inputSet):
returnVec =[0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] +=1
return returnVec
