主成分分析原理.docx

.
第七章主成分分析
（一）教学目的
通过本章的学习，对主成分分析从总体上有一个清晰地认识，理解主成分分析的基本思想和数学模型，掌握用主成分分析方法解决实际问题的能力。
（二）基本要求了解主成分分析的基本思想，几何解释，理解主成分分
|
■
■

新坐标yiy2有如下性质：
(1) n个点的坐标yi和y的相关几乎为零。
(2) 二维平面上的n个点的方差大部分都归结为yi轴上，而y2轴上的方差较小。
yi和y称为原始变量Xi和X2的综合变量。由于n个点在力轴上的方差最大，因而将
二维空间的点用在yi轴上的一维综合变量来代替，所损失的信息量最小，由此称yi轴为第一主成分，y2轴与yi轴正交，有较小的方差，称它为第二主成分。
三、主成分分析的应用主成分概念首先是由Karlparson在i90i年引进，但当时只对非随机变量来讨论的。
析的应用也越来越广泛
其中，主成分分析可以用于系统评估。系统评估是指对系统营运状态做出评估，而评估一个系统的营运状态往往需要综合考察许多营运变量，例如对某一类企业的经济效益作评估，影响经济效益的变量很多，很难直接比较其优劣，所以解决评估问题的焦点是希望客观、科学地将一个多变量问题综合成一个单变量形式，也就是说只有在一维空间中才能使排序评估成为可能，这正符合主成分分析的基本思想。在经济统计研究中，除了经济效益的综合评价研究外，对不同地区经济发展水平的评价研究，不同地区经济发展竞争力的评价研究，人民生活水平、生活质量的评价研究，等等都可以用主成分分析方法进行研究。
另外，主成分分析除了用于系统评估研究领域外，还可以与回归分析结合，进行主成分回归分析，以及利用主成分分析进行挑选变量，选择变量子集合的研究。
第二节主成分的导出及主成分分析的步骤
一、主成分的导出
根据主成分分析的数学模型的定义，要进行主成分分析，就需要根据原始数据，以及模型的三个条件的要求，如何求出主成分系数，以便得到主成分模型。这就是导出主成分所要解决的问题。
1、根据主成分数学模型的条件①要求主成分之间互不相关，为此主成分之间的协差阵应该是一个对角阵。即，对于主成分，FAX
其协差阵应为，Var(F)Var(AX)(AX)(AX)AXXA
12
p2、设原始数据的协方差阵为V，如果原始数据进行了标准化处理后则协方差阵等于相关矩阵，即有，VRXX
3、再由主成分数学模型条件③和正交矩阵的性质，若能够满足条件③最好要求A为正交矩阵，即满足AAI于是，将原始数据的协方差代入主成分的协差阵公式得ARARAA
展开上式得
1
1
「12
「1p
a11
a21
ap1
1
「2
「22
「2p
a12
a22
ap2
1
「p
rp2
「PP
a1p
a2p
aPP
an
a21
a
P1
1
a12
a22
a
P2
2
Var(F)AXXAARA
展开等式两边，根据矩阵相等的性质，这里只根据第一列得出的方程为的P个根，i为特征方程的特征根，
aj是其特征向量的分量
4、下面再证明主成分的方差是依次递减
ri1
1ai1
ri2ai2
ripaip
r2iai1
(22