第七章 主成分分析.ppt

第七章主成分分析
§ 引言
§ 总体的主成分
§ 样本的主成分
§ 引言
主成分分析(或称主分量分析,ponent analysis)由皮尔逊(Pearson,1901)首先引入,后来被霍特林(Hotelling,1933)发展了。
主成分分析是一种通过降维技术把多个变量化为少数几个主成分(即综合变量)的统计分析方法。这些主成分能够反映原始变量的绝大部分信息,它们通常表示为原始变量的某种线性组合。
主成分分析的一般目的是:
(1)变量的降维;
(2)主成分的解释。
寻找主成分的正交旋转
旋转公式:
§ 总体的主成分
一、主成分的定义及导出
二、主成分的性质
三、从相关阵出发求主成分
一、主成分的定义及导出
设为一个p维随机向量,E(x)=μ,
V(x)=Σ。考虑如下的线性变换
希望在约束条件下寻求向量a1,使得达到最大,y1就称为第一主成分。
设λ1≥λ2≥⋯≥λp≥0为Σ的特征值, ,
i=1,2,⋯,p为相应的单位特征向量,且相互正交。则可求得第一主成分为
它的方差具有最大值λ1。
如果第一主成分所含信息不够多,还不足以代表原始的p个变量,则需考虑再使用一个综合变量,为使y2所含的信息与y1不重叠,应要求
Cov(y1,y2) =0
我们在此条件和约束条件下寻求向量a2,使得达到最大,所求的称为第二主成分。求得的第二主成分为

其方差为λ2。
一般来说,x的第i主成分是指:在约束条件和 Cov(yk,yi)=0, k=1,2,⋯,i−1下寻求ai,使得
达到最大。第i主成分为
主成分的几何意义
在几何上,ti表明了第i主成分的方向,yi是x在ti上的投影值(其绝对值即为投影长度),λi是这些值的方差,它反映了在ti上投影点的分散程度。
x投影到ti上的值
其中𝛉i是ti与x的夹角。
主成分向量与原始向量之间的关系式