用PCA算法对数据进行降维处理

数据来源

https://archive.ics.uci.edu/ml/datasets/automobile

运行环境

python3.7、PyCharm 2018.2.4 (Community Edition)

思路

根据所给数据及其说明可以看出，这是一个有关于汽车的数据集，有关于汽车规格的数据、指定的保险风险等级和使用中的损失，可以用于预测汽车的保险定级。数据集中共有205组数据，每组数据有26个特征，在这里不考虑已经给出的保险定级、价格等因素，单纯考虑与汽车规格相关的特征比如长宽高和马力等特征，并且只考虑将连续特征进行降维处理。另外还注意到数据中有缺失值用'?'代替，这里考虑采用该特征的平均值来代替。

经过筛选后，用于降维的特征有12个，这里采用了启发式的算法，使得筛选出的主成分的累计方差百分比大于指定阈值95%，并将对应的特征值百分比可视化出来，然后根据所选出的主成分将数据降维得到降维后的数据。

源代码

# -*- coding: UTF-8 -*-
#Author：Yinli
import numpy as np
import matplotlib.pyplot as plt

#从文件中导入数据并进行缺失值处理
#这里只采用了和汽车规格有关的连续值数据
def loadData(filename):
    #从文件中读取数据为矩阵
    fr = open(filename, 'r', encoding='utf-8')
    arrayOfLines = fr.readlines()
    dataSet = []
    #遍历每组数据
    for i in range(len(arrayOfLines)):
        #将数据处理分离为列表
        arrayOfLines[i] = arrayOfLines[i].rstrip('\n')
        currentLine = arrayOfLines[i].split(',')
        #提取指定特征
        dataArray = currentLine[9:14].copy()
        dataArray.append(currentLine[16])
        dataArray.extend(currentLine[18:25])
        #将处理后的数据添加到数据集中
        dataSet.append(dataArray)
    #处理有缺失值的特征
    dealWithColumn(dataSet, 6)
    dealWithColumn(dataSet, 7)
    dealWithColumn(dataSet, 9)
    dealWithColumn(dataSet, 10)
    #返回np二维矩阵，元素属性为浮点数
    return np.mat(dataSet).astype(float)

#处理指定特征的缺失值
def dealWithColumn(dataSet, column):
    #得到数据组数
    n = len(dataSet)
    #用列表记录数据集中此特征的所有有效值
    featureList = []
    for i in range(n):
        if dataSet[i][column] != '?':
            featureList.append(dataSet[i][column])
    #求此特征所有有效值的平均值
    featureList = np.mat(featureList).astype(float)
    meanVal = np.mean(featureList)
    #将数据集中的缺失值替换为有效值
    for i in range(n):
        if dataSet[i][column] == '?':
            dataSet[i][column] = meanVal
    return

#对数据集进行主成分分析，并返回降维后的矩阵
#topNfeat为指定的主成分的数量
def pca(dataSet, topNfeat=999999):
    #求每个特征的平均值
    meanVals = np.mean(dataSet, axis=0)
    #原始数据集减去平均值
    meanRemoved = dataSet - meanVals
    #求协方差矩阵及其特征值
    covMat = np.cov(meanRemoved, rowvar=0)
    eigVals, eigVects = np.linalg.eig(np.mat(covMat))
    #根据特征值对其进行排序，并取前topNfeat大特征值的索引
    eigValsIndex = np.argsort(eigVals)
    eigValsIndex = eigValsIndex[:-(topNfeat+1):-1]
    #将原数据集转换到新空间中，生成降维后的数据矩阵并返回
    redEigVects = eigVects[:,eigValsIndex]
    lowDDataMat = meanRemoved * redEigVects
    return lowDDataMat

#启发式地选择主成分个数并可视化
#threshold为阈值，要求主成分的累积方差百分比大于此阈值
def choosePCNmber(dataSet, threshold = 95):
    #求每个特征的平均值
    meanVals = np.mean(dataSet, axis=0)
    #原始数据集减去平均值
    meanRemoved = dataSet - meanVals
    #求协方差矩阵及其特征值
    covMat = np.cov(meanRemoved, rowvar=0)
    eigVals, eigVects = np.linalg.eig(np.mat(covMat))
    #打印特征值结果查看
    #设置输出精度为小数点后两位，不用科学计数法输出
    np.set_printoptions(precision=2, suppress=True)
    print("特征值为：")
    print(eigVals)
    #将特征值从大到小排序
    eigValsIndex = np.argsort(eigVals)
    eigValsIndex = eigValsIndex[::-1]
    sortedEigVals = eigVals[eigValsIndex]
    #计算所有特征值的和
    total = np.sum(sortedEigVals)
    #计算每个特征值所占百分比
    valPercentage = sortedEigVals/total * 100

    #计算主成分数目
    sum = 0
    PCNumber = 0
    #遍历每个特征
    for i in range(len(valPercentage)):
        #累加成分数目和所占百分比
        sum += valPercentage[i]
        PCNumber += 1
        #当累积百分比大于阈值跳出循环
        if sum > threshold:
            break

    #画出百分比前10大的成分所占百分比
    plt.figure()
    plt.plot(range(1,11), valPercentage[:10], marker = '^')
    plt.xlabel('Principal Component Number')
    plt.ylabel('Percentage of Variance')
    plt.show()

    #返回主成分个数
    return PCNumber

#主函数
if __name__ == '__main__':
    #从文件中读取数据
    filename = r'D:\python_things\code\第6次作业\PCA数据集\imports-85.data'
    dataSet = loadData(filename)

    #计算主成分数目并可视化
    PCNumber = choosePCNmber(dataSet)
    print("主成分个数为：%d" % PCNumber)

    #对数据进行降维返回降维后的矩阵
    lowDDataMat = pca(dataSet, PCNumber)

输出结果

程序的运行结果

result.png

特征值百分比（前10大）

principalComponent.png

结果分析

从可视化结果和特征值可以看出来，原来的12维特征可以压缩为2维，这2维特征可以表达原12维数据中95%以上的信息，这对后续的模型训练大大节省了成本，也减少了模型训练的白噪音。

用PCA进行数据降维