因为对PCA算法的好奇，所以就写一篇笔记记录一下自己学习的过程。
一、简介
在现实生活中，我们人类总会存在一种这样的习惯：关注自己所关心的，与此同时会忽略掉自己所不关心的事情。就像看一场足球比赛一样，我们面对的显示屏幕包含了几十万个像素，那么这其中的人或者球只占了其中的一部分，那么我们自然而然的会对我们的屏幕中的像素进行降维处理，只关注其中的人和球的像素就可以了。不过即使仅仅只面对人和球的像素，我们仍然还有很多信息要进行处理，但是正如AI教父Hinton所说的那样：“人也是机器，绝妙的机器”，我们的大脑采用了一种更为有效的方式来处理这些数据，也就是将其转换为一个三维图像。在这个过程中，我们就已经将显示屏中的几十万个维度最终转换为一个三维数据。当然转换的前提肯定是数据之间具有一定的相关性，这才能让我们实现这个转换过程，这也就是我们经常会提到的数据降维。
PCA算法就是一种很典型的一种降维方法，在PCA中，其将数据从原来的坐标系转换到了新的坐标系下，在这个转换过程中，我们就需要为原始数据构建一个超平面。那么这个超平面就需要有下面这两个性质：
1、最近重构性：也就是样本点到这个超平面的距离足够近。
2、最大可分性：样本点在这个超平面上的投影能尽可能的分开。
如果想深入了解这两个性质，可以去查找《机器学习》、《【机器学习】【白板推导系列】》视频等相关资料进行学习。
二、代码实现
2.1 实现步骤：
1、对所有样本进行中心化，其实也就是将原始样本减去其质心
进行平移。
2、计算样本的协方差矩阵(
)。
3、对协方差矩阵个特征值所对应的特征向量组成低维超平面。
2.2实现代码
#-*- coding=utf-8 -*-
#@Time : 2020/9/24 20:30
#@File : PCA.py
#@Software : PyCharm
from numpy import *
from tkinter import filedialog
import matplotlib.pyplot as plt
"""
函数说明：加载数据集
"""
def loadDataSet(delim='\t'):
dlg = filedialog.askopenfile(title='打开文件', filetypes=[("文本文件", "*.txt"), ('Python源文件', '*.py')])
fileName = dlg.name # 获取数据文件路径
fr = open(fileName)
stringArr = [line.strip().split(delim) for line in fr.readlines()]
fr.close()
# datArr=[line for line in stringArr]
return mat(stringArr).astype(float)
'''
函数说明：PCA方法使用
'''
def PCA(dataMat,topNfeat=9999999):
meanVals=mean(dataMat,axis=0)
meanRemoved = dataMat - meanVals #中心化
covMat = cov(meanRemoved , rowvar=0) #建立协方差矩阵
eigVals,eigVects = linalg.eig(mat(covMat)) #求解特征值和特征向量
eigValInd=argsort(eigVals) #对特征值进行排序
eigValInd = eigValInd[:-(topNfeat + 1):-1]
redEigVects = eigVects[:,eigValInd] #获取前k个特征向量，组成投影矩阵
lowDDataMat = meanRemoved * redEigVects #进行投影转换
reconMat = (lowDDataMat * redEigVects.T) + meanVals
return lowDDataMat, reconMat
'''
函数说明：显示数据
'''
def ShowData(dataMat,lowMat,reconMat):
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(dataMat[:,0].flatten().A[0], dataMat[:,1].flatten().A[0],marker='^',s=90)
ax.scatter(reconMat[:,0].flatten().A[0],reconMat[:,1].flatten().A[0],marker='o',s=10,c='red')
# ax.scatter(lowMat[:,0].flatten().A[0],lowMat[:,1].flatten().A[0],marker='o',s=50,c='blue')
plt.show()
'''
函数说明：主函数
'''
if __name__ == '__main__':
dataMat = loadDataSet()
lowMat ,reconMat = PCA(dataMat, 1)
ShowData(dataMat,lowMat,reconMat)
实现效果：
三、小结
PCA算法的实验过程可能相对简单，不过其是一个经典的降维方法，主要也被用于数据的压缩和坐标转换这两个方面。当遇到特征个数过多或是想要提高算法效率的情况时，可以考虑使用该方法来将原始数据降维处理，更多的用法还需要日后更为深入的学习了解。
参考资料：《机器学习》《机器学习实战》
