分类
- 传统意义下的分类：生物物种
- 预测：天气预报
- 决策：yes or no
- 分类的传统模型
- 分类（判别分析）与聚类有什么差别？
- 有监督学习，无监督学习，半监督学习
常见分类模型不算法
- 线性判别法
- 距离判别法
- 贝叶斯分类器
- 决策树
- 支持向量机(SVM)
- 神经网络
文本挖掘典型场景
- 网页自动分类
- 垃圾邮件判断
- 评论自动分析
- 通过用户访问内容判别用户喜好
网页自动分类
自动化门户系统（百度新闻，谷歌新闻等）
搜索引擎根据用户标签类型推送不同类别的搜索结果
评论自动分析
线性判别法
用一条直线来划分学习集（这条直线一定存在吗？）
然后根据待测点在直线的哪一边决定它的分类
MASS包不线性判别函数lda( )距离判别法
原理：计算待测点与各类的距离，取最短者为其所属分类
马氏距离（薛毅书p445，为什么不用欧氏距离？），计算函数mahalanobis( )最近邻算法Knn
算法主要思想：
1 选取k个和待分类点距离最近的样本点
2 看1中的样本点的分类情况，投票决定待分类点所属的类贝叶斯分类器
Paste_Image.png
Paste_Image.png
多分类的情况
贝叶斯信念网络
BayesBelief Network，简称BBN
朴素贝叶斯分类器需要特征乊间互相独立的强条件，制约了模型的适用
用有向无环图表达变量乊间的依赖关系，变量用节点表示，依赖关系用边表示
祖先，父母和后代节点。贝叶斯网络中的一个节点，如果它的父母节点已知，则它条件独立于它的所有非后代节点
每个节点附带一个条件概率表（CPT），表示该节点和父母节点的联系概率
建模步骤:
创建网络结构（丏业人员知识）
计算CPT（通过学习数据）
如果数据不完备，则需要进行训练计算（类似神经网络，采用梯度下降法）
CPT计算
如果节点X没有父母节点，则它的CPT乊包含先验概率P(X)
如果节点X只有一个父母节点Y，则CPT中包含条件概率P(X|Y)
如果节点X有多个父母节点Y1，Y2…，Yk，则CPT中包含条件概率P(X| Y1，Y2…，Yk)
