线性判别分析（LDA）算法原理分析与实现（二分类问题）

LDA的基本思想

$~~~~~$ 给定训练样本，设法将样本投影到一条直线上，使得同类样例的投影点尽可能的接近，异类样例的投影点尽可能的远。在对新样本进行分类时，将其投影到同样的这条直线上，再根据新样本投影点的位置确定类别。

二维示意图.PNG

也就是让同类样本的投影点尽量集中再一块，不同样本的投影点尽量分离。

LDA算法原理

$~~~~~$ 下面我就简单分析一下该算法，详细可参考周志华老师的《机器学习》这本书，讲得很好。

原理描述1.PNG

原理描述2.PNG

看到这里不禁会想到为什么要最大化（3.32）式子呢？
根据协方差的计算公式：

协方差公式.png

要使同样例的投影点尽可能的接近，那么就需要X - E[X]的值要越小，也就是让协方差尽可能的小，所以要最小化

投影点协方差.png

而要让不同类别之间的距离尽可能的大，那么两个不同类的别均值向量在直线上的投影点之间的距离越大，已知均值向量在直线上的投影点是

均值向量在直线上的投影点.png

两个投影点之间的距离则是

两个投影点之间的距离.png

综合起来式子（3.32）就是最大化目标。
继续看原理的推导

散度矩阵.PNG

原理3.PNG

原理4.PNG

LDA二分类算法的实现

#二分类的LDA算法
#输入数据：x1列向量
#输入数据：x2列向量
def LDA(x1, x2):
    n1 = shape(x1)[0]
    n2 = shape(x2)[0]
    m = n1
    print("m = ", m)
    x1_mean_vector = np.mean(x1.T)
    x2_mean_vector = np.mean(x2.T)
    print("x1_mean_vector = ", x1_mean_vector)
    print("x2_mean_vector = ", x2_mean_vector)
    sigma1 = (x1 - x1_mean_vector).T * (x1 - x1_mean_vector)
    sigma2 = (x2 - x2_mean_vector).T * (x2 - x2_mean_vector)
    Sw = sigma1 + sigma2
    print("Sw = ", Sw)
    w = Sw.I * (x1_mean_vector - x2_mean_vector)
    return w

代码很简单，完完全全就是按照公式写的。

完整代码

from numpy import *
import numpy as np
import matplotlib.pyplot as plt
import math

#创建N*M个测试数据
#输入数据：N 每一个类别的样例数量
#输入数据：M 类别的数量
def create_data(N, M):
    X = mat(zeros((N, M)))
    Y = mat(zeros((N, M)))
    k = 0

    for i in range(M):
        for j in range(N):
            X[j, i] = random.uniform(2 + k * 8, 8 + k * 8)
            Y[j, i] = (random.uniform(2, 15) + 10)
        k += 1

    return X,Y

#二分类的LDA算法
#输入数据：x1列向量
#输入数据：x2列向量
def LDA(x1, x2):
    n1 = shape(x1)[0]
    n2 = shape(x2)[0]
    m = n1
    print("m = ", m)
    x1_mean_vector = np.mean(x1.T)
    x2_mean_vector = np.mean(x2.T)
    print("x1_mean_vector = ", x1_mean_vector)
    print("x2_mean_vector = ", x2_mean_vector)
    sigma1 = (x1 - x1_mean_vector).T * (x1 - x1_mean_vector)
    sigma2 = (x2 - x2_mean_vector).T * (x2 - x2_mean_vector)
    Sw = sigma1 + sigma2
    print("Sw = ", Sw)
    w = Sw.I * (x1_mean_vector - x2_mean_vector)
    return w

#显示图形
def show_experiment_plot(X, Y, W):
    n,m = shape(X)
    x_label_data_list = arange(0, 30, 0.1)
    x_label_mat = mat(zeros((1, 300)))

    for i in range(300):
        x_label_mat[0, i] = x_label_data_list[i]
    y_label_mat = W * x_label_mat
   
    plt.plot(x_label_mat, y_label_mat, "ob")
    for i in range(m):
        if i % 2 == 1:
            plt.plot(X[:, i], Y[:, i], "or")
        else:
            plt.plot(X[:, i], Y[:, i], "og")

    plt.show()

if __name__ == "__main__":
    x1,x2 = create_data(10, 2)
    w = LDA(x1[:, 0], x1[:, 1])
    print("W = ", w)
    show_experiment_plot(x1, x2, w)
    print("------------------------")

实验结果

实验结果1.PNG

实验结果2.PNG