Classification（分类）
- 应用举例
- Credit Scoring
- input: income, saving, profession, age, past financial history...
- output: accept or refuse
- Medical Diagosis
- input: current symptons, age, gender, past medical history...
- output: which kind of disease
- Handwritting recognition
- Face recognition
- Credit Scoring
1.数学前提
情景：盒1（4蓝球，1绿球），盒2（2篮球，3绿球），拿盒1的概率是2/3，拿盒2的概率是1/3
- 先验概率：知因求果
从盒1中拿，拿出篮球的概率是多少
- 后验概率：知果求因（此时用到了贝叶斯公式）
已知拿到了篮球，则从盒1中拿的概率是多少
- 贝叶斯公式：
事件的概率为
，事件
的概率为
，事件
- generative model（生成模型）
那上诉的这些数值从哪里来呢，就从training data里面，估计出来，这个想法就是生成模型。
例如， - 极大似然估计：知果求最可能的原因
- Naive Bayes（朴素贝叶斯）：假设属性之间都是互相独立的，则称这个贝叶斯是朴素的贝叶斯，用此假定，是为了简化计算。
则朴素贝叶斯公式为：
2 分类步骤
2.1 首先明确现在做的这一步
目的：确认x这个点是否是在类别A里面
方法：所有的类别都有自己的分布，计算x这个点在类别里分布的概率，当概率大于0.5时，就可认为x属于这个类别
问题：这个（高斯）分布怎么计算呢？
解决：极大似然估计
2.2 Guassian Distribution（高斯分布）
其中 mean：均值；covariance matrix
：协方差矩阵
-
这个公式中，若已知均值和协方差矩阵，将目标点带入，就可求得此点在该高斯分布中的位置。
接下来就需要用极大似然估计，来找出该高斯分布，最有可能是由那个均值和哪个协方差矩阵组成的。
哪个参数才是最好的呢
2.3 极大似然估计
-
这个是均值和协方差矩阵的可能性 - 若要使得可能性最大，即
均值和协方差矩阵需满足如下公式
为平均值
- 此时我们已经得到了
，由此可得此高斯分布，现在我们回到贝叶斯公式
2.4 用贝叶斯公式进行分类
2.4.1 第一次尝试
将得到的高斯分布放进贝叶斯公式中
- 然而由此得出的效果正确率只有47%，即使把七维的参数都放进来，准确率也只有54%，此时需要调整模型
2.4.2 第二次尝试
调整模型
根据以往经验得出，其实协方差矩阵用同一个即可，即，均值还是各自的照旧，用同一个协方差矩阵会产生一个线性的边界。
此时，准确率达到了73%-
Sigmoid function
SigmoidSigmoid funciton 有很多优良的特性，值域为(0,1)，在0.5周围敏感，在0,1附近不敏感，非常适合用于二分任务
2.5 Linear Regression 和 Logistic Regression 的区别和联系
在贝叶斯公式中，可以写成
的形式，而
经过一番运算以后，可以得到一个
的形式，即最终
从中，我们能看出 Linear Regression 在经过了 Sigmoid function 处理之后，变成了能够处理了二分任务的 Logistic Regression
