思想: 给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近,异类样例的投影点尽可能远离。
设Xi,μi, Σi分别表示第i类示例的集合、均值向量、协方差矩阵,若将数据投影到直线w上,则两类样本的中心在直线上的投影分别为wTμ0 ,wTμ1
两类样本的协方差分别为wTΣ0w和wTΣ1w,即最大化目标"
J = 类中心点距/协方差和
求解涉及到拉格朗日乘子法,奇异值分解等,详见西瓜书P62
值得一提的是,LDA可从贝叶斯决策理论的角度来阐释,并可证明,当两类数据同先验,满足高斯分布且协方差相等时,LDA可达到最优分类
多分类LDA将样本投影到d'维空间,d'通常远小于数据原有的属性d,因此LDA也常被视为一种经典的监督降维技术。