1. 统计学基础回顾
1.1 先验概率与后验概率
-
先验概率:
根据以往经验和分析得到的概率,如全概率公式,它往往作为”由因求果”
问题中的”因”出现。 -
后验概率:
依据得到”结果”信息所计算出的最有可能是那种事件发生,如贝叶斯公式
中的,是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式,用先验概率和
似然函数计算出来。 -
贝叶斯定理:
假设B1,B2,...,Bn互斥且构成一个完全事件,已知它们的概率P(Bi),i=1,2,...,n,
现观察到某事件A与B1,B2,...,Bn相伴随机出现,且已知条件概率P(A|Bi),求P(Bi|A)。
$$
P\left( B_{i} | A\right) = \dfrac {P\left( B_{i}\right) P\left( A|B_{i}\right) }{\sum ^{n}{j=1}P\left( B{j}\right) P\left( A|B_{j}\right) }
$$
1.2 极大似然估计(MLE)
-
极大似然估计:
已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参
数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。最大似然估计是建
立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其
他小概率的样本,所以干脆就把这个参数作为估计的真实值。 -
定义:
设总体分布为f(x,θ),x1,x2,...,xn为该总体采用得到的样本。因为x1,x2,...,xn独立同分布,于是,它们的联合密度函数为:
$$
L\left( x_{1},x_{y}\ldots,x_{n};\theta _{1},\theta {2},\ldots ,\theta {k}\right) = \prod ^{n}{i=1}f\left( x{i};\theta _{1},\theta _{2},\ldots ,\theta _{k}\right)
$$
求最大似然函数估计值的一般步骤:
- 写出似然函数;
- 对似然函数取对数,得到对数似然函数;
- 若对数似然函数可导,求导,解方程组logL(θ1,θ2,...,θk)=∑ni=1f(xi;θ1,θ2,...,θk),得到驻
点; - 分析驻点是极大值点。
举例:抛硬币
统计学基础回顾
要点总结
- 要点1
- 贝叶斯定理与应用
- 要点2
- MLE的步骤与使用
原文：https://iosdevlog.gitbooks.io/aidevlog/ML/DecisionTreeAndClassification.html
