主成分分析与因子分析法.ppt

关于主成分分析与因子分析法
第一页，讲稿共三十七页哦
主要内容
主成分分析法
因子分析法
附：主成分分析法与因子分析法的区别
第二页，讲稿共三十七页哦
主成分分析法（Principal Components Ana下的关系：
Y1和Y2均是X1 和 X2
的线性组合
第十九页，讲稿共三十七页哦
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
在新坐标系中，可以发现：虽然散点图的形状没有改变，但新的随机变量 Y1 和 Y2 已经不再相关。而且大部分点沿 Y1 轴散开，在 Y1 轴方向的变异较大（即 Y1的方差较大） ，相对来说，在 Y2轴方向的变异较小（即 Y2 的方差较小） 。
第二十页，讲稿共三十七页哦
在上面的例子中 Y1 和 Y2 就是原变量 X1和 X2的第一主成分和第二主成分。实际上第一主成分 Y1 就基本上反映了 X1 和X2 的主要信息，因为图中的各点在新坐标系中的 Y1 坐标基本上就代表了这些点的分布情况，因此可以选 Y1 为一个新的综合变量。当然如果再选 Y2也作为综合变量，那么 Y1 和 Y2 则反映了 X1 和 X2的全部信息。
第二十一页，讲稿共三十七页哦
*
(二) 主成分分析的基本思想
假如对某一问题的研究涉及 p 个指标，记为X1，X2, …, Xp，由这 p 个随机变量构成的随机向量为X=(X1, X2, …, Xp)，设 X 的均值向量为，协方差矩阵为。设Y=(Y1, Y2 , … , Yp)为对 X 进行线性变换得到的合成随机向量，即

(1)
设i=(i1, i2 , …, ip), A=(1 , 2 ,…, p)，则有
(2)
第二十二页，讲稿共三十七页哦
*
且

（3）
由是式(1)(2)能够看出，可以对原始变量进行任意的线性变换，不同线性变换得到的合成变量Y的统计特征显然是不一样的。每个Yi 应尽可能多地反映 p 个原始变量的信息，通常用方差来度量“信息”，Yi 的方差越大表示它所包含的信息越多。由式（3）可以看出将系数向量i 扩大任意倍数会使Yi 的方差无限增大，为了消除这种不确定性，增加约束条件：
第二十三页，讲稿共三十七页哦
*
为了有效地反映原始变量的信息，Y的不同分量包含的信息不应重叠。综上所述，式（1）的线性变换需要满足下面的约束：
(1) 即 ，i =1, 2, …, p。
(2) Y1在满足约束 (1) 即的情况下，方差最大；Y2是在满足约束(1) ，且与Y1不相关的条件下，其方差达到大；……；Yp是在满足约束(1) ，且与Y1，Y2，…，Y p-1不相关的条件下，在各种线性组合中方差达到最大者。
满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为原始变量的第一主成分、第二主成分、…、第 p 主成分，而且各成分方差在总方差中占的比重依次递减。在实际研究工作中，仅挑选前几个方差较大的主成分，以达到简化系统结构的目的。
第二十四页，讲稿共三十七页哦
三、主成分分析的计算步骤
第二十五页，讲稿共三十七页哦
(一)计算相关系数矩阵
(二)计算特征值与特征向量
(三)计算主成分贡献率及累计贡献率
(四)计算主成分载荷
第二十六页，讲稿共三十七页哦
（一）计算相关系数矩阵


rij（i，j=1，2，…，p）为原变量xi与xj标准化后的相关系数， rij=rji，其计算公式为
（）
（）
第二十七页，讲稿共三十七页哦
（二）计算特征值与特征向量
1、解特征方程　　　　，求出特征值，并使其按大小顺序排列
2、分别求出对应于特征值　 的特征向量
　 ，要求 　　=1，即　　　　　，其中　表示向量 的第j个分量,也就是说 为单位向量。
第二十八页，讲稿共三十七页哦
*
（三）计算主成分贡献率及累计贡献率
主成分分析是把 p 个随机变量的总方差分解为 p 个不相关随机变量的方差之和1 ＋ 2 ＋…＋ P，则总方差中属于第 i 个主成分（被第 i 个主成分所解释）的比例为