主成分分析ppt.ppt

第5节主成分分析
主成分分析的基本原理
主成分分析的计算步骤
主成分分析方法应用实例
能否在相关分析的基础上,用较少的新特征代替原来较多的旧特征,而且使这些较少的新变量尽可能多地保留原来变量所反映的信息?
问题的提出:
在很多情形,特征之间是有一定的相关关系的,当两个特征之间有一定相关关系时,可以解释为这两个变量反映样本的信息有一定的重叠。
主成分分析是对于原先提出的所有特征,建立尽可能少的新特征,使得这些新变量是两两不相关的,而且这些新变量在反映研究对象的信息方面尽可能保持原有的信息。
主成分分析的基本思想
一、主成分分析的基本原理
假定有样本,每个样本共有p个特征,构成一个n×p阶的数据矩阵
()
当p较大时,在p维空间中考察问题比较麻烦。
为了克服这一困难,就需要进行降维处理,即用较少的几个综合指标代替原来较多的变量指标,而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息,同时它们之间又是彼此独立的。
定义:记x1,x2,…,xP为原变量指标,z1,z2,…,zm(m≤p)为新变量指标
()
系数lij的确定原则:
① zi与zj(i≠j;i,j=1,2,…,m)不相关;
② z1是x1,x2,…,xP的一切线性组合中方差最大者,z2是与z1不相关的x1,x2,…,xP的所有线性组合中方差最大者;…; zm是与z1,z2,……,zm-1都不相关的x1,x2,…xP, 的所有线性组合中方差最大者。

则新变量指标z1,z2,…,zm分别称为原变量指标x1,x2,…,xP的第1,第2,…,第m主成分。
从以上的分析可以看出,主成分分析的实质就是确定原来变量xj(j=1,2 ,…, p)在诸主成分zi(i=1,2,…,m)上的荷载 lij( i=1,2,…,m; j=1,2 ,…,p)。
从数学上可以证明,它们分别是相关矩阵m个较大的特征值所对应的特征向量。
二、主成分分析的计算步骤
(一)计算相关系数矩阵

rij(i,j=1,2,…,p)为原变量xi与xj的相关系数, rij=rji,其计算公式为
()
()
(二)计算特征值与特征向量
①解特征方程,常用雅可比法(Jacobi)求出特征值,并使其按大小顺序排列;
②分别求出对应于特征值的特征向量
,要求=1,即,其中表示向量的第j个分量。