PCA人脸识别理论基础(附源码).docx

PCA人脸识别理论基础(附源码).docxα= ΦX
PCA 与人脸识别及其理论基础
问题描述 [1]
对于一幅图像可以看作一个由像素值组成的矩阵， 也可以扩展开， 看成一个矢量， 如一幅 N*N 象素的图像可以视为长度为 ，协方差矩阵
C 是
A ={φ1,φ2,...,φM }
i = xi - mx
A
一个 N*N 的矩阵 , N 是 xi 的维数。
为了方便计算特征值和特征向量，一般选用第
2个公式。根据 K - L
变换原理，我们所求
的新坐标系即由矩阵
Ai A的非零特征值所对应的特征向量组成。直接求
N*N 大小矩阵 C 的 特
征值和正交归一特征向量是很困难的
,
根据奇异值分解原理（见段落和）
，可以
通过求解 AiA 的特征值和特征向量来获得
Ai A 的特征值和特征向量， 。
在计算得到 C的所有非零特征值
[
λ,λ,"
, λ（从大到小排序，
1 ≤r < M ）及其对应的 单位正
]
交特征向量 [u,u," , u] 后，可以得到特征空间
U = [u,u," , u] ∈ ?
，从而可以
计算一张图片 X在特征空间上的投影系数（也可以理解为
X在空间 U中的坐标）：
Y=U* X ∈?
3. 识别
（ 2）
利用公式（ 2），首先把所有训练图片进行投影，然后对于测试图片也进行同样的投影，采用判别函数对投影系数进行识别。
PCA 的理论基础
投影 [2]
设 d 维样本 x， x， " , x，以及一个 d 维基 w ，那么标量：
y = wx
是相当于 x 在基上的坐标值。如果
w =1 , y就是把 x向方向为 w 的直线进行投影的结果，
可以从图
1 看到。推广之，如果有一组基（
m 个）组成的空间
W =[w ,w ," , w ]，那么可
以得到 x在空间 W 上的坐标为： Y = W x ∈ ?
。
x
证明： wx
=
w ? x ?cosθ
w
又 ∵
x ?cosθ= y , w =1
θ y
? wx = y
图1投影图
进一步，表达式 w = m +ae 表示 w 是一条通过点 m ，方向为 e 的直线。
[3]
PCA 的作用及其统计特性
采用 PCA 对原始数据的处理，通常有三个方面的作用 —降维、相关性去除、概率估计。下面分别进行介绍：
去除原始数据相关性
从统计学上
讲 ， E{[X - E(X)][Y - E(Y)]} 称为随 机变量 X 与 Y 协方差，记
为
Cov(X,Y) 。令 ρ=
Cov( X,Y)
，称为随机变量
X 与 Y 的相关系数。 ρ=1 则 X 与
D(X)
D(Y)
Y 是相关的， ρ=0 ，则 X 与 Y 是不相关的。
命题 1 对于矩阵 A 来说，如果
AA 是一个对角阵，那么
A 中的向量是非相关的。
由 PCA处理的人脸库数据的非相关性可以从两点进行说明。
1） 基底的非相关性
特征空间基 U = [u,u,"
, u]是非相关的，即 UU
= I 。
（ 2） 投影系数的非相关性
由 SVD可知 A ={φ φ φ ＝ UΛV
, 其中
,
mx
是平均人脸。 根
1,
2 ,..., M }
φi=xi - mx
据公式（ 2）可以把 A 映射到特征空间上，得到：
B =U* A ，其中 B 是非相
关的，可由下面得到证明：
Y 的协方差矩阵为：
1
1
1
C=BB=
UAAU=
Λ
（3
M M
M
）
由命题 1 可知， B 是非相关的。
统计参数（均值及方差）
均