4.2 朴素贝叶斯法的参数估计
4.2.1 极大似然估计
下面两个公式就是对应的极大似然估计
-
实例1：
下面概率密度函数中，当X取1时就是β，当X取0时就是1-β
此处使用了遍历的方法，但当试验次数多或者集合包含元素多时就十分不便
针对这种情况，就要用下面的方法进行计算
这不就是多项式求极值么。。。
-
实例2：运用新的计算方式求：
δ表示方差，用来度量一个数据距离均值的波动情况；而σ表示标准差；μ取值无穷多，所以无法遍历，只能用上面的计算数值（先求对数来对函数进行简化再求偏导）得到下图
下边的μ,δ即为具体的解析解
得不到解析解的原因：
- 1.虽然函数可微，但是解不出具体表达式；
- 2.函数不存在偏导数。
在这种情况下如何求解：摆烂吧
迭代：
给定参数初始值β0，设定目标函数Q并带入β0，根据结论对参数进行修正并如此循环直到得到最优参数β^
-
各种方法：
遍历：先找好参数空间H，然后都带入似然函数中并找最大值（实例1）；
解析解： 当H十分巨大时，就可以用此方法，用高数来求解；
迭代法： 若无法求出解析解，则可用迭代法求出数值解（趋近真实值的近似解决方法）；
4.2.2 学习与分类算法
-
解析：
模型所使用的方法就是极大似然法来进行估计；
此时X的具体值都已知，即可计算对应的先验/条件概率，进而计算 后验概率 也就是x属于每个类的概率，进而求最大的概率以确定X的类
-
实例讲解：
①计算先验概率（即Y=1和Y=-1的概率，这题可以数出来），条件概率（即Y=±1时，X取值概率，也可以数）
②计算后验概率（分子）
③求出最大值，即所属类
4.2.3 贝叶斯估计
- 原因：使用极大似然估计会出现概率为0的情况（要避免），而这会影响到后验概率的计算结果，导致分类产生偏差；
-
估计方法：
不难看出，就是在极大似然的基础性上加了个λ，进而避免的概率为0的出现。分母的K/Sjλ是为了保证所有概率求和为1.
-
问题:
1.为啥叫贝叶斯估计?
假设要判断θ,那么其主观判断(即先验概率)就是P(θ),然后通过样本信息来进行矫正,并得到调整因子(条件概率)P(y1,....,yn|θ);最后得到后验概率P(θ|y1,....,yn)并通过其最大化来得到θ值。其本质还是 贝叶斯思维
Y对应随机变量而θ对应于参数，右上角为θ不同情况下P(Y)的计算方式；先验概率的计算公式就是Beta公式，其中第一项的分式为一个常量，在计算后验概率时可以忽略不计。
计算后验概率：
第二步到第三步就是对θ求导并求出极大值点，下图为求解结果
实例2：
均匀分布图像：
用相同方法求解得
不难看出，这里就是极大似然估计，即λ=0。因为均匀分布是一种 无信息 的分布，使得贝叶斯方法变成了概率方法。
-
综上所述，贝叶斯估计不仅考虑了数据本身的信息，还综合考虑了对应关系（分布函数，比如Beta和均匀分布）的信息，因此比起极大似然估计更加严谨？
2.平滑思想是?
贝叶斯估计将参数标记为θk，右边分子的求和标记为Nk，那么得到了下面的公式。移项后第一项为0则θ=Nk/N,即极大似然；第二项为0则θ=1/N,即先验概率
——>贝叶斯估计就是极大似然估计与先验概率的组合
与正则化相同，加入个λ (kθk-1)是防止出现过拟合，即不能只看样本，要有个对模型的假设，这就是平滑（？不如吃德芙）；
当λ=1且N->∞时，算式是趋于Nk/N的，所以此时1和K就没啥影响了。
实例讲解：
这里都用贝叶斯估计，黄标为做题顺序
五、决策树
-
定义： 描述对实例进行分类（目的）的 树形结构(即模型)
-
实际：决策树可以看作一堆if-then规则的集合
每个叶节点都对应一条规则，由下图可知
每个叶节点（类）可能对应多条路径，但是每个实例只对应一条路径
此规则的性质：互斥（不同规则间无交集）且完备（分叉合在一起为合集）
-
构建决策树：
第一步是将N个样本放入模型；第二步是选出样本中的最优特征值并进行分割‘
然后的看文字。
最优的定义找到一个将训练集中大部分的数据正确分类的模型即可，因为要对拟合与泛化能力进行一个平衡
5.1.3 决策树与条件概率分布
-
对于决策树来说
X是给定特征，Y是类；有多少个条件概率分布就对应多少个决策树
-
正负类划分依据：
将上面的平面扩为立体
对于1，3的区域而言，由于其概率>0.5所以其归为正类；而区域2P<0.5所以归为负类；
当X的类有多个时，只需看在X=c情况下每个类的条件概率，取大的那个作为其对应类
5.1.4 决策树学习
-
实例：
- 问题：1.根据同个训练数据集可以构造出多少个决策树；2.构造过程中以哪个特征作为首选，二选…3.当出现一个十分复杂的决策树时怎么办。
-
目标：
-
如何实现：
剪枝分为：预剪枝（果农修建果树不要让其长太高，在成熟前干）以及后剪枝（为树修剪特定形状，成熟后干）,这两个知识后面会再学到的
