主成分分析算法解析.ppt

主成分分析算法的研究
报告人：周卫林

1背景
分(主分量)……
主成分分析在二维空间的几何意义
主成分分析在二维空间的几何意义相当于坐标旋转。
主成分分析在二维空间的几何意义
主成分分析在二维空间的几何意义相当于坐标旋转。
主成分分析在二维空间的几何意义
经过坐标变换可以看到，在新坐标系y1Oy2下m个散点的坐标Y1和Y2几乎不相关。散点总是沿着y1和y2方向分布，它们在y1轴上的方差达到最大，在y2轴上的方差次之，所以在这两个方向上散点的离散程度很小。
在这里，我们把Y1称为第一主成分，Y2称为第二主成分。
主成分分析的数学描述
主成分分析就是针对原始数据，要寻求那些主成分并以它们为坐标轴构建一个新的坐标系，使得原始数据在新坐标轴上的投影的方差最大。

主成分分析可用数学语言描述为:给定n维空间中的m个数据(如图像信息、工业参数、基因指标等)，寻求一个nxn维的变换矩阵W,使得Y=[y1,y2,…,ym]=WTX，而且满足新坐标系下各维之间数据的相关性最小，或者说一个去相关性的过程。
主成分分析的数学推导
在下列所有运算中均有i、k∈[1，n]，j∈[1，m]。
假设有m个n维数据组成的矩阵
其中，xi=[xi1,xi2,…,xim]。
X的均值矩阵和协方差矩阵分别记为
主成分分析的数学推导
另外，假设转换矩阵
其中，wi=[wi1,wi2,…,win]T 。
主成分分析的数学推导
考虑如下的线性变换：
用矩阵形式表示为：
主成分分析的数学推导
我们需要寻求一组新的变量Y1,Y2,...,Yd(d≤n)，这组新的变量要求能充分地反映原变量X1,X2,...,Xn的信息，而且相互独立。
对于Y1,Y2,...,Yd有：
这样我们所要解决的问题就转化为，在新的变量 Y1,Y2,...,Yd相互独立的条件下寻求
，使得
达到最大。
主成分分析的数学推导
下面依次求取各主成分
构造目标函数
并对目标函数
微分，有
即
两边分别左乘
，可得
主成分分析的数学推导
是X的协方差矩阵
的特征方程，因为
是非负定的，所以特征根均大于0，假设
由式
可知Y1的方差为
也就是说，Y1的最大方差为
，其相应的单位化特征向量是
的最大方差为第k大特征根
，其相应的单位化特征向量是
主成分分析的数学推导
由上述推导，我们得到以下结论：设
的协方差矩阵为Σ，
其特征根为
相应的单位化特征向量为
则由此所确定的主成分是
主成分分析的计算步骤
1、计算原始数据矩阵X矩阵的均值矩阵
即对每维(行)数据计算平均值
，
主成分分析的计算步骤
2、计算中心平移矩阵
即把每维数据减去由上式求出的平均值
主成分分析的计算步骤
3、计算数据的协方差矩阵
其中，a,b∈[1,n]。
主成分分析的计算步骤
4、对协方差矩阵Σ进行特征分析，使
这里
它们分别是协方差矩阵的特征值和对应的特征向量。将特征值按照由大到小的顺序排列，对应的特征向量也作相应排列。
主成分分析的计算步骤
5、取前d个特征值
和特征向量
作为子空间的基底，那么主成分可以由中心平移矩阵
在d个基底上投影得到，即
主成分分析的应用
主成分分析是数据降维技术的典型算法，它通过对矩阵的特征分析把原始数据投影到包含了大部分数据信息的线性子空间中达到数据降维的目的，它的优点在于计算过程简单，数据信息丢失很少。
在现代科学领域，特别是在网络入侵检测、图像处理、多元统计分析、生物医学等应用场合
主成分分析在图像处理中的应用
图像匹配
图像匹配是根据已知的图像模式，在另一幅图像中寻找相应或相近模式的过程。
人脸识别是模式识别和图像处理等学科的一大研究热点，在身份鉴别、信用卡识别、护照核对以及监控系统等方面有着广泛的应用。
主成分分析在图像处理中的应用
人脸识别是将检测出的人脸与数据库中的已知人脸进行比较，得出有关身份方面的信息。即解决“这是谁的脸？” 识别的关键是人脸特征的选择和提取，只有选取适当的人脸表征方式，以及匹配策略，才能得到较高的识别率。
主成分分析在图像处理中的应用
目标跟踪
运用模板匹配定位从而实现目标跟踪的方法是目前的成像跟踪系统通常采用的方法。
主成分分析(PCA)具有数据分离和信息压缩等有用的特性，运用主成分分析的方法可以根据图像