LDA

线性鉴别判定LDA

LDA的核心在于对有标签的类进行判别，属于有监督的机器学习算法。其核心在于获得类内散布矩阵和类间散布矩阵。获得两个矩阵后，我们要对他们进行降维(1维)投影，而此时的投影要求类内散布矩阵尽可能的小，而类间散布矩阵尽可能的大，这才能更好的分辨开类与类。

故而我们的目标函数则是J = \frac{w^TS_{b}w }{w^TS_{w}w } ,要使J尽可能的大。而如何确定w，观察得到上下都是关于w的二次项，故而解与w的大小无关，只与方向有关。此时我们可以令w^TS_{w}w = 1，则式子变为求max(w^TS_{b}w)即min(-w^TS_{b}w)。通过拉格朗日乘子法则式子变为：S_{b}w=\lambda S_{b}w又S_{b}w = \lambda (u_{0}-u_{1})，则 w = S_{w}^- (u_{0}-u_{1}) S_{w}^- 一般使用奇异值SVD获得。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容