主成分分析与因子分析 PPT课件.ppt

1
第十三章主成分分析和因子分析
在建立多元回归模型时,为了更准确地反映事物的特征,人们经常会在模型中包含较多相关解释变量,这不仅使得问题分析变得复杂,而且变量之间可能存在多重共线性,使得数据提供的信息发生重叠,甚至会抹杀事物的真正特征。为了解决这些问题,需要采用降维的思想,将所有指标的信息通过少数几个指标来反映,在低维空间将信息分解为互不相关的部分以获得更有意义的解释。本章介绍的主成分分析和因子分析可用于解决这类问题。
2
主成分分析(ponents analysis,简称PCA)是由霍特林(Hotelling)于1933年首先提出的。它通过投影的方法,实现数据的降维,在损失较少数据信息的基础上把多个指标转化为几个有代表意义的综合指标。
主成分分析
3
主成分分析的基本思想
假如对某一问题的研究涉及 p 个指标,记为X1,X2, …, Xp,由这 p 个随机变量构成的随机向量为X=(X1, X2, …, Xp),设 X 的均值向量为,协方差矩阵为。设Y=(Y1, Y2 , …, Yp)为对 X 进行线性变换得到的合成随机向量,即

()
设i=(i1, i2 , …, ip),( ), A=(1 , 2 ,…, p),则有
()
4
且

()
由式()和式()可以看出,可以对原始变量进行任意的线性变换,不同线性变换得到的合成变量Y的统计特征显然是不一样的。每个Yi 应尽可能多地反映 p 个原始变量的信息,通常用方差来度量“信息”,Yi 的方差越大表示它所包含的信息越多。由式()可以看出将系数向量i 扩大任意倍数会使Yi 的方差无限增大,为了消除这种不确定性,增加约束条件:
5
为了有效地反映原始变量的信息,Y的不同分量包含的信息不应重叠。综上所述,式()的线性变换需要满足下面的约束:
(1) ,即,i =1, 2, …, p。
(2) Y1在满足约束(1) 即的情况下,方差最大;Y2是在满足约束(1) ,且与Y1不相关的条件下,其方差达到最大;……;Yp是在满足约束(1) ,且与Y1,Y2,…,Y p-1不相关的条件下,在各种线性组合中方差达到最大者。
满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为原始变量的第一主成分、第二主成分、…、第 p 主成分,而且各成分方差在总方差中占的比重依次递减。在实际研究工作中,仅挑选前几个方差较大的主成分,以达到简化系统结构的目的。
6
总体主成分求解及其性质
(方差)的贡献大小,而对于原始随机变量X1,X2,…,Xp,其协方差矩阵或相关矩阵正是对各变量离散程度和相关程度的度量。在实际求解主成分时,一般从原始变量的协方差矩阵或相关矩阵的结构分析出发。
7

设1是任意 p1向量,求解主成份就是在约束条件下,求 X 的线性函数使其方差达到最大,即达到最大,且,其中是随机变量向量X =(X1, X2, …, Xp)的协方差矩阵。设1 ≥2 ≥…≥p ≥ 0 为的特征值,e1 , e2 ,…, ep为矩阵各特征值对应的标准正交特征向量,则对于任意的ei 和 ej,有
()
且
()
8
因此

()
当1 = e1 时有

()
此时达到最大值为1。同理有并且
()
9
由上述推导得
()
可见Y1, Y2, …, Yp 即为原始变量的 p 个主成份。因此,主成分的求解转变为求 X1, X2, …, Xp 协方差矩阵的特征值和特征向量的问题。
10

性质1 Y的协方差矩阵为对角阵,即
()
性质2 设=(ij)p×p是随机变量向量 X 的协方差矩阵,可得
即