李弘毅机器学习 8

1. 联合概率

包含多个条件且所有条件同时成立的概率，记作 $P(X=a, Y=b)$

2. 边缘概率

边缘概率是与联合概率对应的， $P(X=a)$ 或 $P(X=b)$ ，这类仅与单个随机变量有关的概率称为边缘概率

3. 联合概率与边缘概率的关系

$P(X=a)=\sum_{b} P(X=a, Y=b)$
$P(Y=b)=\sum_{a} P(X=a, Y=b)$

求和符号表示穷举所有 $Y$ （或 $X$ ）所能取得 $b$ （或 $a$ ）后，所有对应值相加得到的和

4. 条件概率

在条件 $Y=b$ 成立的情况下， $X=a$ 的概率，记作 $P(X=a | Y=b)$

5. 联合概率、边缘概率与条件概率的关系

$P(X=a | Y=b)=\frac{P(X=a, Y=b)}{P(Y=b)}$

根据上面三个基本概念，和它们之间的关系，我们就可以得到贝叶斯公式。

6. 贝叶斯定理

$P(A | B)=\frac{P(A) * P(B | A)}{P(B)} = \frac{P(A) * P(B | A)}{P(A) * P(B | A)+P\left(A^{\prime}\right) * P\left(B | A^{\prime}\right)}$

$P(A)$ 是 $A$ 的先验概率。之所以称为“先验”是因为它不考虑任何 $B$ 方面的因素

$P(A|B)$ 是已知 $B$ 发生后 $A$ 的条件概率，也由于得知 $B$ 的取值而被称作 $A$ 的后验概率

$\frac{P(B | A)}{P(B)}$ 被称为标准似然度（standardised likelihood）

因此，贝叶斯定理也可表述为：后验概率 = 标准似然度 * 先验概率

7. 朴素贝叶斯

朴素贝叶斯对条件概率分布做了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯也由此得名。具体地，条件独立性假设是：
$\begin{aligned} P\left(X=x | Y=c_{k}\right) &=P\left(X^{(1)}=x^{(1)}, \cdots, X^{(n)}=x^{(n)} | Y=c_{k}\right) \\ &=\prod_{j=1}^{n} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right) \end{aligned}$
朴素贝叶斯实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。

朴素贝叶斯法分类时，对给定的输入 $x$ ，通过学习到的模型计算后验概率分布 $P(Y=c_{k}|X=x)$ ，将后验概率最大的类作为 $x$ 的类输出，后验概率计算根据贝叶斯定理进行：
$P\left(Y=c_{k} | X=x\right)=\frac{P\left(X=x | Y=c_{k}\right) P\left(Y=c_{k}\right)}{\sum_{k} P\left(X=x | Y=c_{k}\right) P\left(Y=c_{k}\right)}$
将条件独立性假设代入上式得：
$P\left(Y=c_{k} | X=x\right)=\frac{P\left(Y=c_{k}\right) \prod_{j} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right)}{\sum_{k} P\left(Y=c_{k}\right) \prod_{j} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right)}， k=1,2, \cdots, K$
这就是朴素贝叶斯法分类的基本公式。于是，朴素贝叶斯分类器可表示为：
$y=f(x)=\arg \max _{c_{k}} \frac{P\left(Y=c_{k}\right) \prod_{j} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right)}{\sum_{k} P\left(Y=c_{k}\right) \prod_{j} P\left(X^{(j)}=x^{(i)} | Y=c_{k}\right)}$
注意到，上式中分母对所有 $c_{k}$ 都是相同的，所以：
$y=\arg \max _{c_{k}} P\left(Y=c_{k}\right) \prod_{j} P\left(X^{(j)}=x^{(j)} | Y=c_{i}\right)$

8. Logistic Regression与Linear Regression的区别

输出不同

前者：输出值的范围是 $(0, 1)$ ，后者：任意值
代价函数不同

前者： $J=-\frac{1}{m} \sum_{i=1}^{m}\left(y_{i} \log \hat{y}_{i}+\left(1-y_{i}\right)\left(1-\log \hat{y}_{i}\right)\right)$

后者： $J=\frac{1}{2 m} \sum_{i=1}^{m}\left(\hat{y}_{i}-y_{i}\right)^{2}$

两者代价不同的原因是模型不同，

前者： $\hat{y_{i}}=\frac{1}{1+e^{-w^{T} x_{i}}}$

后者： $\hat{y}_{i}=w^{T} x_{i}$

因为Logistic Regression将函数值压缩到 $(0,1)$ 区间之间，如果它使用和Linear Regression相同的代价函数，则这个函数具有非凸性，即该代价函数具有多个局部最优点，这样会导致采用梯度下降法进行求解时，很有可能陷入局部最优点。所以，需要重新定义代价函数，上面重新定义的代价函数是凸函数
应用不同

前者：用于分类问题

后者：回归问题

9. Sigmoid function

首先假设我们有两类：class1 和 class2，并且给出一个样本 $x$ ，我们的目标是求 $x$ 属于 $C_{1}$ 的概率是多少

根据朴素贝叶斯法，可以很容易得到：
$P\left(C_{1} | x\right)=\frac{P\left(x | C_{1}\right) P\left(C_{1}\right)}{P\left(x | C_{1}\right) P\left(C_{1}\right)+P\left(x | C_{2}\right) P\left(C_{2}\right)}$
将等号右边分子分母同除以分子得：
$P\left(C_{1} | x\right)=\frac{1}{1+\frac{P\left(x | C_{2}\right) P\left(C_{2}\right)}{P\left(x | C_{1}\right) P\left(C_{1}\right)}}$
此时，我们设：
$z=\ln \frac{P\left(x | C_{1}\right) P\left(C_{1}\right)}{P\left(x | C_{2}\right) P\left(C_{2}\right)}$
则， $x$ 属于 $C_{1}$ 得概率可以表示为：
$P\left(C_{1} | x\right)=\frac{1}{1+e^{-z}} = \sigma(z)$
后半部分也就是Sigmoid Function

10. $Z$ 的表达式

我们对上述 $z$ 进行进一步求解，这里 $\mu_{1}$ 、 $\mu_2$ 分别表示类别1、2的均值， $\sum_{1}$ 、 $\sum_{2}$ 分别表示类别1、2的方差，并且假设类别1和类别2方差相等（减少参数个数，因为参数过多容易发生过拟合）

对 $z$ 进行基本运算：
$z=\ln \frac{P\left(x | C_{1}\right)}{P\left(x | C_{2}\right)}+\ln \frac{P\left(C_{1}\right)}{P\left(C_{2}\right)}$
设类别1在训练集中数目为 $N_{1}$ ，类别2在训练集中数目为 $N_{2}$ 。所以上式后半部分等于：
$\ln \frac{P\left(C_{1}\right)}{P\left(C_{2}\right)}=\ln \frac{\frac{N_{1}}{N_{1}+N_{2}}}{\frac{N_{2}}{N_{1}+N_{2}}}=\ln \frac{N_{1}}{N_{2}}$
其中 $P\left(x | C_{1}\right)$ 和 $P\left(x | C_{2}\right)$ 都符合高斯分布函数：
$P\left(x | C_{1}\right)=\frac{1}{2 \pi^{D / 2}} \frac{1}{\left|\Sigma_{1}\right|^{1 / 2}} e^{-1 / 2\left(x-\mu_{1}\right)^{T} \Sigma_{1}^{-1}\left(x-\mu_{1}\right)}$

$P\left(x | C_{2}\right)=\frac{1}{2 \pi^{D / 2}} \frac{1}{\left|\Sigma_{2}\right|^{1 / 2}} e^{-1 / 2\left(x-\mu_{2}\right)^{T} \Sigma_{2}^{-1}\left(x-\mu_{2}\right)}$

并且根据 $\sum_{1} = \sum_{2}$ ，简化后得（略过大量计算步骤）：
$z=\left(\mu_{1}-\mu_{2}\right) \Sigma^{-1} x-\frac{1}{2} \mu_{1}^{T} \Sigma^{-1} \mu_{1}+\frac{1}{2} \mu_{2}^{T} \Sigma^{-1} \mu_{2}+\ln \frac{N_{1}}{N_{2}}$
更进一步，可以将上述看作为： $Z = wx + b$

回到出发点，可以得到 $x$ 属于 $C_{1}$ 得概率可以表示为：
$P\left(C_{1} | x\right)=\sigma(w \cdot x+b) = \frac{1}{1+e^{-(w \cdot x+b)}}$

待思考

为什么Logistic Regression的代价函数这样定义？
手动推导当Logistic Regression的代价函数使用Square Error时会出现多个局部最优解

李弘毅机器学习 8