人脸识别(LDA+KNN方法):
dataTrain=creatData(TrainDatabasePath);
dataTest=creatData(TestDatabasePath);
trainLabel=creatTrainLabelMat();
testLabel=creatTestLabelMat();
[train_lda,test_lda]=LDA(dataTrain,trainLabel,dataTest);: PCA降维 计算协方差矩阵
再求类内均值计算Sb、Sw(类间散布矩阵、类内散布矩阵)
用Sb Sw来计算 投影 进行多分类问题求解。
knnrecognition->knnsearch(计算距离,寻找最匹配的)->knnrecognition
LDA原理推荐博客地址:
http://www.cnblogs.com/pinard/p/6244265.htmlhttp://www.cnblogs.com/pinard/p/6244265.html
首先建立训练集,creatTraindata和相应的标签creatTrainLabelMat通过trainlabel
1-50每10个都对应1个label,比如1-10都标记label=1,11-20都标记label=2等等。
data:50个训练集,即产生50列,每一列就是原来图像矩阵的92*112行*50列
以及为测试集初始化数据矩阵和标签矩阵。
进入LDA(线性判别分析):
计算共多少类别;nFea:特征nSmp:样本数
计算协方差矩阵提取特征,特征降到40维度。50个样本50行。
sample mean对每个样本求均值。
求类间、类内散布矩阵。Sb Sw均为40*40的矩阵。
提取(Sw\sb表示Sb/Sw)矩阵的前9个(k-1)特征值eigs?提取出前9个分量,Sb类间距离,Sw类内距离,最大化这个表达式就是使得内间距离最大、类内距离最小。(这也是与SVM不同的,SVM只要求类间距离最大)
d = eigs(A,k,sigma) %在稀疏矩阵A中提取出k个最大的特征值,sigma取值:'lm'表示绝对值最大的特征值;'sm'绝对值最小特征值;对实对称问题:'la'表示最大特征值;'sa'为最小特征值;对非对称和复数问题:
'lr'表示最大实部;'sr'表示最小实部;'li'表示最大虚部;'si'表示最小虚部.
得到train_lda=train*eigvector(原训练数据(50*40)*特征向量(40*9),得到经过LDA投影的新的训练数据(50*9)成功降维。
同样,平行的,我们得到了test_lda。
进入knnRecognition:
求有多少类
进行knnsearch idx=knnsearch(test,train,kNum);
进入knnsearch函数,每次进行求距离,然后对d进行排序,保存排序后前kNum个编号。
有N个测试集,M为M个特征,N=5,M=9,Q为测试集矩阵,K=3,即求前3个最匹配的:
%对应特征相减,求距离。对距离进行排序 求出前3个(K个),距离保存在D中,索引号保存在idx中。【t保存着每个test文件从小到大的距离;idx保存最匹配的前三张图片索引标号D保存着test中图片与idx对应图片的距离】然后返回knnRecognition。
classIdx保存着这三张图片所对应的类别(class),通过train_label找到所对应的类别保存到classIdx。
为了避免出现的三个会在不同类里面,所以knnRecognition采用如下方法进行判决(KNN):
对于每一个样本,其9个特征,与3个中每一个训练集中的样本对应相减求距离。对于每一类都记一个dist,dist越小,result的元素值越大,则越可能是最匹配对象
最后将结果保存到result,result应当越大越好(dist要小),所以resultt保存了最终的分类结果。
实验过程:(实验环境Matlab)
5个人,每个人为5张照片作为训练集,1张作为测试集。
训练集:
1-5为1号,6-10为2号。
测试集:分别为1-5
测试结果为:
实验结果好。
多次实验,改变测试集和训练集,准确率仍为100%(5 out of 10)。