机器学习04-继续线性分类（硬分类）---线性判别分析（LDA）

这一篇会接着介绍硬分类模型-线性判别分析（LDA），也称为fisher判别分析

同样以二分类为出发点，数据集 $D = \{{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}\}$ ， $x_i$ 是列向量，维度为p，定义 $X = (x_1 x_2 ... x_N)^T$ , $y = \{+1, -1\}$

$x_{c_1} = \{x_i|y_i=1\}$ , 表示标签是1的样本集，同理， $x_{c_2} = \{x_i|y_i=-1\}$

$|x_{c_1}| = N_1$ , $|x_{c_2}| = N_2$ , $N_1+N_2 = N$

线性判别分析的思想，就是找到一个方向，使得样本沿着这个方向投影（注意是沿着这个方向投影），使得类内的样本距离要近，不同类别的距离要远，即高内聚，松耦合，思想很简单。

二维示意图

首先数据是 $x$ , 投影方向是 $w$ (不需要考虑截距项，因为不会影响方向），那么 $x$ 顺着 $w$

方向投影的结果就是, $z = w^Tx$ 。样本数据集的所有样本，都有一个投影后的结果 $z_i$

$\bar{z_1} = \frac{1}{N_1}\sum_{i=1}^{N_1}w^Tx_i$ ,表示类别1投影后的均值， $s_1 = \frac{1}{N_1}\sum_{i=1}^{N_1}(w^Tx_i - \bar z_1)(w^Tx_i - \bar z_1)^T$ , 是类别1样本投影后的方差

同理可以定义类别2的

现在我们把类间的松耦合，用 $(\bar z_1 - \bar z_2)^2$ 来表示，类内的高聚合，用 $s_1+s_2$ 来表示

现在我们可以定义目标函数了， $J(w) = \frac{(\bar z_1 - \bar z_2)^2}{s_1+s_2}$ , $\hat w = \mathop{argmax}_{w}J(w)$

把变量都带进去，分子 $= (\frac{1}{N_1}\sum_{i=1}^{N_1}w^Tx_i - \frac{1}{N_2}\sum_{i=1}^{N_2}w^Tx_i)^2 = (w^T(\frac{1}{N_1}\sum_{i=1}^{N_1}x_i - \frac{1}{N_2}\sum_{i=1}^{N_2}x_i ))^2$

我们先化简下分母中的s1, $s_1 = \frac{1}{N_1}\sum_{i=1}^{N_1}(w^Tx_i - \frac{1}{N_1}\sum_{j=1}^{N_1}w^Tx_j)(w^Tx_i - \frac{1}{N_1}\sum_{j=1}^{N_1}w^Tx_j)^T$

$= \frac{1}{N_1}\sum_{i=1}^{N_1}w^T(x_i - \bar x_{c_1})(x_i - \bar x_{c_1})^Tw = w^T[\frac{1}{N_1}\sum_{i=1}^{N_1}(x_i - \bar x_{c_1})(x_i - \bar x_{c_1})^T]w$