线性判别分析 Linear Discriminant Analysis

1 PCA（主成分分析）与LDA

PCA与LDA都是一种降维的方法。
PCA仅关注方差最大的方向，
LDA关注对类别有区分能力的信息。

例：分类下图中的两种数据。如果使用PCA，则会寻找数据投影到哪个方向上方差最大，最后都会投影到下方的坐标轴上。两种数据的投影几乎完全重叠，无法区分。因此需要寻找投影后区分效果最好的方向。
注：PCA笔记尚未完成。

PCAvsLDA

LDA：

• Fisher提出
• 引入样本类别信息
• 目标：最大化类间方差和类内方差之比

2 算法

给定数据集，
分别表示类示例的集合、均值向量、协方差矩阵。若将数据投影到直线上，则两类样本中心在直线上的投影分别为和，两类样本的协方差分别为和。
由于是把二维上的线投影到一维，所以以上四个值均为实数。

要选投影后区分效果最好的方向，也就是要在投影后，让同类的协方差尽可能小（同类的要更聚集），异类的均值之间的距离尽可能大（不同类的要尽量分开）。让尽可能大的做分子，另一个做分母，可得需要最大化的目标：

• 中右下角的2指的是2范数。关于范数：

1. https://zh-v2.d2l.ai/chapter_preliminaries/linear-algebra.html#id3中2.3.10
2. https://ryannng.github.io/2016/12/23/%E5%90%91%E9%87%8F%E8%8C%83%E6%95%B0%E4%B8%8E%E7%9F%A9%E9%98%B5%E8%8C%83%E6%95%B0/

再定义类内散度矩阵
类间散度矩阵，则称作“广义瑞利商”

由于上下都有，故的长度实际上并不影响式子的值，我们只需要考虑方向即可。又因为都是定值，则可以令分母为1，转化式子。

转化

• 证明过程可见：https://www.bilibili.com/video/BV1Mh411e7VU?p=6&vd_source=32ad22ca1aa5a882c8b7fe1b7878657f

得到
实际中为了数值稳定性，常对进行奇异值分解来计算其逆。