PCA算法详解.pdf

该【PCA算法详解 】是由【小s】上传分享，文档一共【5】页，该文档可以免费在线阅读，需要了解更多关于【PCA算法详解 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。上的表现就是人脸的外形轮廓和灰度变化,以此作为人脸特征。
对于随机向量X∈Rn,它的均值向量m及协方差矩阵c定义为:
xx
T
mE{X}CxE{(Xmx)(Xmx)}(3-1)
x
X是n维的向量,(Xm)(Xm)T是n×n阶矩阵。c的元素c是总体
xxxii
向量中X向量的第i个分量的方差,c的元素C是向量元素x和x的协方差。
xijij
并且矩阵c是实对称的。如果元素x和x无关,则它们的协方差为零,则有c
xijij
=c=0。对于从随机总体中取样的k个向量,均值向量可以通过样本估计:
ji
1K
mX(3-2)
XKk
k1
协方差矩阵可通过样本进行估计,如式(3-3)所示:
1k
c=XXTmmT(-3)
xkkkxx
k1
K-L变换定义了一正交变换A∈Rnn,将X∈Rn的向量映射到用Y∈Rn代
表的向量,并且使Y向量中各分量间不相关:
YA(Xm)(3-4)
x
则随机向量Y协方差矩阵C应为对角矩阵:
Y
0
C=1
2
Y

0
n
(3-5)
其中CE{(Ym)(Ym)},mE{y}为向量Y的均值向量。
Yyyy
因有CACAT,这相当于对C对角化,K-L变换将A的每一行取为C的特
YxXX
征向量,并且将这些特征向量按对应的特征值大小进行降序排序,使最大特征值
对应的特征向量在A的第一行,而最小特征值对应的特征向量在A的最后一行。
并且因C为实对称的,因此总能找到n个标准正交特征向量组成A。
y
经过A变换后,因Y各分量不相关,相当于对X去相关操作。并且根据矩阵
理论,C对角线处,也正是C的特征值,同样也是C的特征值,也就是说
YjXY
C与C有相同特征值,并且它们的特征向量也相同。
XY
K-L变换不仅能去相关,而且能简单的由Y恢复X。因为A的各行是正交向
量,则有A1=AT,任何向量X能够通过相应的Y利用下式恢复:
XYATm(3-6)
x
若选择C的最大K个特征值对应的K个特征向量,组成kn的转换矩阵A,
XK
则变换后Y降为K维的,则由Y对X的恢复公式如下:
^
XATYm(3-7)
Kx
X与Xˆ间的均方误差可以由下式表示:
e=n-k=n(3-8)
msjjj
j1j1jk1
如果k=n(即所有特征向量用于变换),则误差为零。因为递减,并且式(3-8)
j
也表明可以通过选择k个具有最大特征值的特征向量来降低误差。因此,从可以
将向量X和它的近似值Xˆ之间的均方误差降至最小这方面来说,K-L变换是最佳
变换。并且由于使用最大特征值对应的特征向量,所以又称为主成分分析(PCA)。
(PCA)特征提取方法
在二十世纪九十年代初,Kirby和Sirovich开始讨论利用PCA行进人
脸图像的最优表示问题。
中,并称为特征脸方法。
×n的人脸图像,重新排列为mn维的列向量。
则所有的训练图像经此变换后得到一组列向量:{x},x∈Rmn,i=1,..,N,
ii
其中N代表训练样本集中图像的个数。将图像看成一随机列向量,并通过训练样
本对其均值向量和协方差矩阵行进估计。
1N
均值向量通过下式估计:x(3-9)
Ni
i1
协方差矩阵S通过下式估计:
T
N
S(x)(x)TXXT(Xx,...,x)(3-10)
Tii1n
i1
则将投影变换矩阵A取为S的前k个最大特征值对应的特征向量。利用以
T
下变换式对原图像进行去相关并降维:
y(X)A(3-11)
K
因是通过N个训练样本计算出的,虽然S是mn×mn维的矩阵,但是
T
其秩最大为N-1,即只有N-1个非零特征值。按照K-L变换中,在均方误差意义
下,去掉零特征值对应的特征向量不会影响对向量x的重构。所以A最大只需取
S前N一1个非零特征值对应的特征向量,即k最大只需为N-1,就能通过y
T
在均方意义下对x完全重构。
,发
T
现竟然是一张标准化的人脸。因此指出进行PCA的本质就是将每幅人脸通过标准
人脸的线性叠加来近似。并将这些线性表示系数作为人脸的特征,利用这些特征
对其进行分类。
称为特征脸(Eigenface),并将这种利用PCA技术进行人脸分类的方法称为特征
脸法。
PCA算法具体步骤如下:
×n的训练图像重新排列为mn维的列向量,如图像矩阵为
1
4

7
1232

456,则排列后的列向量为5。计算均值向量,并利用均值向量将所有

7898
3

6

9
样本中心化。
,根据式(3-10)计算其协方差矩阵;对其特征
值分解,并将特征向量按其对应的特征值大小进行降序排列。
≤N-1个最大特征值对应的特征向量组成投影矩阵A,
将每幅已中心化的训练图像(x,...,x)向矩阵A投影,得到每幅训练图像的
1n
降维表示(y,…,y)。
1n
,并投影到矩阵A,得到测试图像的降维表示。
,对测试图像进行分类。
在人脸识别中,将图像重排为列向量,维数较高。例如若处理的图像数据为
112×92,变为列向量则为119×92=10304维,则S为10304×10304矩阵。往
T
往难于直接计算协方差矩阵S的特征值及特征向量。
T
下面介绍间接求解方法:
因SXXT(X=([x,...,x]),其中x∈Rmn,X∈R(mn)N,N为训练样本
T1ni
数量,m*n为图像转换为列向量的维数,往往m*n>>N。而NN比=
XXTRSXXT
T
(mn)(mn)
R小的多,对其进行特征值分解较简单。对XXT进行特征值分解:
XXTvv(3-12)
iii
若上式两边同时左乘X,则:
X(XTX)(X)
iii(3-13)
XXT(X)(X)
iii
而对TXXT特征分解:
XXTuu(3-14)
iii
则可以得知uXv,。因此可以利用求XXT的特征值及特征向
iiii
量来推算SXXT的特征值和特征向量。
T