PCA算法详解.docx

主成分分析法
主成分分析(ponent Analysis,简称PCA)方法是目前应用很广泛的一种代数特征提取方法,可以说是常用的一种基于变量协方差矩阵对样本中的信息进行处理、压缩和抽提的有效方法,主要通过K-L(Karhunen-Loeve)变换展开式从人脸数据库中提取人脸的主要特征[[[]} DDD
],构成特征脸空间,在识别时将待测试的人脸图像投影到特征脸空间,得到一组投影系数,与数据库中各个人脸图像进行比对识别。这种方法保留了原向量在与其协方差矩阵最大特征值相对应的特征向量方向上的投影,即主分量(ponents),因此被称为主成分分析。由于PCA方法在进行降维处理和人脸特征提取方面的有效性,在人脸识别领域得到了广泛的应用。它的核心思想是:利用较少数据的特征对样本进行描述以达到降低特征空间维数的目的,根据样本点在多维空间的位置分布,以样本点在空间中变化最大方向,即方差最大方向,作为差别矢量来实现数据的特征提取。利用K-L变换抽取人脸的主要成分,利用特征脸法进行人脸识别的过程由训练阶段和识别阶段两个阶段组成。
K-L变换概述
K-L变换是Karhunen-Loeve变换的简称,是一种特殊的正交变换。它是建立在统计特性基础上的一种变换,它的突出优点是它能去相关性,而且是均方误差(Mean Square Error,MSE)意义下的最佳变换。
K-L变换的基本思想是在一个新的特征空间中将样本数据沿其特征矢量用对齐的方式进行旋转变换。这个变换有效地克服了样本数据向量间的相关性,从而去除那些只带有较少信息的数据以达到降低特征空间维数的目的。经过以上K-L变换得到的特征是原图像向量的正交分解,其图像信息的总能量不变,不损失任何信息。在这个互相正交、可测量的特征空间中进行图像的特征提取可以有效地利用图像之间的差异,提取有效信息。K-L特征空间中,较大特征值所对应的特征向量体现原图像的总体趋势以及低频分量,较小特征值所对应特征向量体现原图像的细节变化以及高频分量所以人们用PCA法提取图像总体特征,其目的是用较少数量的特征对样本进行描述,同时又能保留所需要的识别信息。在人脸图像
上的表现就是人脸的外形轮廓和灰度变化,以此作为人脸特征。
对于随机向量X∈,它的均值向量及协方差矩阵定义为:
(3-1)
X是n维的向量, 是n×n阶矩阵。的元素是总体向量中X向量的第i个分量的方差,的元素是向量元素和的协方差。并且矩阵是实对称的。如果元素和无关,则它们的协方差为零,则有==0。对于从随机总体中取样的k个向量,均值向量可以通过样本估计:
(3-2)
协方差矩阵可通过样本进行估计,如式(3-3)所示:
= (-3)
K-L变换定义了一正交变换A∈,将X∈的向量映射到用Y∈代表的向量,并且使Y向量中各分量间不相关:
(3-4)
则随机向量Y协方差矩阵应为对角矩阵:
= (3-5)
其中,为向量Y的均值向量。
因有,这相当于对对角化,K-L变换将A的每一行取为的特征向量,并且将这些特征向量按对应的特征值大小进行降序排序,使最大特征值对应的特征向量在A的第一行,而最小特征值对应的特征向量在A的最后一行。并且因为实对称的,因此总能找到n个标准正交特征向量组成A。
经过A变换后,因Y各分量不相关,相当于对X去相关操作。并且