利用基于概率论的贝叶斯分类器，对收取的邮件【英文】进行分类。【简易版】
文本分类待续
1. 收集数据
收集的数据包含两类：垃圾邮件和正常邮件。每类中有25个样本。
2. 数据处理
1）要从文本中获取特征，需要拆分文本，分成词条。
2）获取数据字典
3）向量化处理，方便进行特征提取。
2.1 分词
def textParse(bigString):
import re
listOfTokens = re.split(r'\W*',bigString)
return [tok.lower() for tok in listOfTokens if len(tok)>2]#取出掉长度过短的单词
\W: 非单词字符
2.2 获取数据字典
def createVocabList(dataSet):
vocabSet = set()
for doc in dataSet:
vocabSet = vocabSet | set(doc)
return list(vocabSet)
vocabSet | set(doc)：相当于概率论中集合之间的并运算。
集合特点：无序；唯一。
2.3 向量化处理
向量化处理又分为两种情况：
1）词集模型：词集，顾名思义，就是一个集合。只关注token是否出现，并不关注出现的次数。
2）词袋模型：关注token的出现次数，有较好的处理结果。
词集模型：
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] = 1
return returnVec
词袋模型：
def bagOfWords2VecMN(vocabList, inputList):
returnVec = [0]*len(vocabList)
for word in inputList:
if word in vocabList:
returnVec[vocabList.index(word)] += 1
return returnVec
3. 训练模型
朴素贝叶斯是基于概率的分类器，其训练过程就是计算各个概率的过程。
def trainNB0(trainMatrix, trainCategory):
numTrainDocs = len(trainMatrix)
numWords = len(trainMatrix[0])
pAbusive = sum(trainCategory)/float(len(trainCategory))
p0Sum = ones(numWords); p1Sum = ones(numWords)#0概率处理
p0Denom = 2.0; p1Denom = 2.0
for i in range(numTrainDocs):
if trainCategory[i] == 1:
p1Sum += trainMatrix[i]
p1Denom += sum(trainMatrix[i])#sum(trainMatrix[i])：文章i的词汇数
else:
p0Sum += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vec = log(p1Sum/float(p1Denom))#下溢出处理
p0Vec = log(p0Sum/float(p0Denom))
return p1Vec, p0Vec, pAbusive
使用numpy.array来计算，方便、快捷。
4.测试分类器
基本分类器：
def classifyNB(vec2Classify, p1Vec, p0Vec, pAbusive):
p1 = sum(vec2Classify * p1Vec) + log(pAbusive)
p0 = sum(vec2Classify * p0Vec) + log(1-pAbusive)
if p1 > p0:
return 1
else:
return 0
垃圾邮件测试程序:
def spamTest():
docList = []; classList = []
for i in range(1,26):
bigString = open('email/spam/%d.txt' % i).read()#读取邮件内容
wordList = textParse(bigString)
docList.append(wordList)
classList.append(1)
bigString = open('email/ham/%d.txt' %i).read()
wordList = textParse(bigString)
docList.append(wordList)
classList.append(0)
vocabList = createVocabList(docList)
#划分训练集和测试集
trainSet = range(50); testSet = []#存储下标
for i in range(10):
randIndex = int(random.uniform(0,len(trainSet)))#产生一个随机数
testSet.append(trainSet[randIndex])
del trainSet[randIndex]
trainMat = []; trainClasses = []
for docIndex in trainSet:
trainMat.append(setOfWords2Vec(vocabList,docList[docIndex]))
trainClasses.append(classList[docIndex])
p1Vec, p0Vec, pSpam = trainNB0(trainMat,trainClasses)
errorCount = 0
for docIndex in testSet:
wordVec = setOfWords2Vec(vocabList,docList[docIndex])
predict = classifyNB(wordVec,p1Vec,p0Vec,pSpam)
if predict != classList[docIndex]:
errorCount += 1
errorRate = float(errorCount)/len(testSet)
print ("the error rate is %f" % errorRate)
return errorRate
使用误分率作为衡量分类器的数据指标。
由于测试集的生成是随机的，所以分类器误分率每次运行结果不一致。通过运行10次的平均值作为分类器的分类效果。
5. 小结
1）贝叶斯概率及贝叶斯 准则提供了一种利用已知值来估计位置概率的有效方法；
2）朴素贝叶斯假设：数据特征之间相互独立。虽然该假设一般情况下，并不满足。但是！尽管不满足，使用朴素贝叶斯进行分类，仍然取得了很好的效果！！（很气......）
3）优点：在数据较少的情况下仍然有效，可以处理多类别问题；
4）缺点：对输入数据的准备方式较为敏感；
5)使用数据类型：标称型数据（就是名词性数据）
6）中文文本分类：之前做过一个大作业，就是关于中文文本分类，100万新闻语料，10个类别。
To Be Continued!!!
下午玩去：看看闻名已久的回音壁。
