基于LDA KNN的人脸识别详解

人脸识别（LDA+KNN方法）：

dataTrain=creatData(TrainDatabasePath);

dataTest=creatData(TestDatabasePath);

trainLabel=creatTrainLabelMat();

testLabel=creatTestLabelMat();

[train_lda,test_lda]=LDA(dataTrain,trainLabel,dataTest);: PCA降维 计算协方差矩阵

再求类内均值计算Sb、Sw(类间散布矩阵、类内散布矩阵)

用Sb Sw来计算 投影 进行多分类问题求解。

knnrecognition->knnsearch(计算距离，寻找最匹配的)->knnrecognition

LDA原理推荐博客地址：

http://www.cnblogs.com/pinard/p/6244265.htmlhttp://www.cnblogs.com/pinard/p/6244265.html

首先建立训练集，creatTraindata和相应的标签creatTrainLabelMat通过trainlabel

1-50每10个都对应1个label，比如1-10都标记label=1,11-20都标记label=2等等。

data：50个训练集，即产生50列，每一列就是原来图像矩阵的92*112行*50列

以及为测试集初始化数据矩阵和标签矩阵。

进入LDA（线性判别分析）：

计算共多少类别；nFea:特征nSmp：样本数

计算协方差矩阵提取特征，特征降到40维度。50个样本50行。

sample mean对每个样本求均值。

求类间、类内散布矩阵。Sb Sw均为40*40的矩阵。

提取（Sw\sb表示Sb/Sw）矩阵的前9个（k-1）特征值eigs?提取出前9个分量，Sb类间距离，Sw类内距离，最大化这个表达式就是使得内间距离最大、类内距离最小。(这也是与SVM不同的，SVM只要求类间距离最大)

Fisher准则函数

d = eigs(A,k,sigma)   %在稀疏矩阵A中提取出k个最大的特征值，sigma取值：'lm'表示绝对值最大的特征值；'sm'绝对值最小特征值；对实对称问题：'la'表示最大特征值；'sa'为最小特征值；对非对称和复数问题：

'lr'表示最大实部；'sr'表示最小实部；'li'表示最大虚部；'si'表示最小虚部.

得到train_lda=train*eigvector(原训练数据（50*40）*特征向量（40*9），得到经过LDA投影的新的训练数据（50*9）成功降维。

同样，平行的，我们得到了test_lda。

进入knnRecognition：

求有多少类

进行knnsearch  idx=knnsearch(test,train,kNum);

进入knnsearch函数，每次进行求距离，然后对d进行排序，保存排序后前kNum个编号。

有N个测试集，M为M个特征，N=5，M=9，Q为测试集矩阵，K=3，即求前3个最匹配的:

%对应特征相减，求距离。对距离进行排序 求出前3个（K个），距离保存在D中，索引号保存在idx中。【t保存着每个test文件从小到大的距离；idx保存最匹配的前三张图片索引标号D保存着test中图片与idx对应图片的距离】然后返回knnRecognition。

classIdx保存着这三张图片所对应的类别（class）,通过train_label找到所对应的类别保存到classIdx。

为了避免出现的三个会在不同类里面，所以knnRecognition采用如下方法进行判决（KNN）：

对于每一个样本，其9个特征，与3个中每一个训练集中的样本对应相减求距离。对于每一类都记一个dist，dist越小，result的元素值越大，则越可能是最匹配对象

最后将结果保存到result,result应当越大越好（dist要小）,所以resultt保存了最终的分类结果。

实验过程：（实验环境Matlab）

5个人，每个人为5张照片作为训练集，1张作为测试集。

训练集：

训练集图片

1-5为1号，6-10为2号。

测试集：分别为1-5

测试集

测试结果为：

测试结果

实验结果好。

多次实验，改变测试集和训练集，准确率仍为100%（5 out of 10）。