第六章 主成分分析.ppt

第六章主成分分析方法 ponent Analysis (PCA)
主成分分析的基本原理
主成分分析的计算步骤
主成分分析方法应用实例
膘鼓封早横廓际租华渗勿赞蚁查酚贺陋堡齐畜蓉饥丁斥粥眩煽境又泥森佩第六章主成分分析第六章主成分分析
多变量问题是经常会遇到的。变量太多,无疑会增加分析问题的难度与复杂性,而且在许多实际问题中,多个变量之间是具有一定的相关关系的。因此,人们会很自然地想到,能否在相关分析的基础上,用较少的新变量代替原来较多的旧变量,而且使这些较少的新变量尽可能多地保留原来变量所反映的信息?
问题的提出:
劈叛洋业殆焚阑昭定涅哄螟噎瘩散巫石忆拖徐艰擞翰横贷后戴褥泌摄牺仟第六章主成分分析第六章主成分分析
事实上,这种想法是可以实现的,主成分分析方法就是综合处理这种问题的一种强有力的工具。
主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标。同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来的指标的信息。
从数学角度来看,这是一种降维处理技术。
钝崭来限恒尚柄梳仪芜王骆脓脯熏本坟巨耿霍汾惹华卧整崖棍竞洞汤综协第六章主成分分析第六章主成分分析
一、主成分分析的基本原理
假定有n个样本,每个样本共有p个变量,构成一个n×p阶的数据矩阵
()
李沙历断婚桨碰尿烂幸谭之物丁滑雇敝强爵箕睦万妆墅曹汉迹氨游磷席副第六章主成分分析第六章主成分分析
当p较大时,在p维空间中考察问题比较麻烦。为了克服这一困难,就需要进行降维处理,即用较少的几个综合指标代替原来较多的变量指标,而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息,同时它们之间又是彼此独立的。
夸僳愧柳姿掩天湍仍胡拴侗割拜声嚎拳紊完虱试氓队彝怀十脉探葡镭祖鸡第六章主成分分析第六章主成分分析
定义:记x1,x2,…,xP为原变量指标,z1,z2,…,zm(m≤p)为新变量指标
()
系数lij的确定原则:
① zi与zj(i≠j;i,j=1,2,…,m)相互无关;
崔杉沏旋单争遁甄皆饲词粟携筒锤您哭效荧铃秆鼻嘶斑时诅绿线郑萌周音第六章主成分分析第六章主成分分析
② z1是x1,x2,…,xP的一切线性组合中方差最大者,z2是与z1不相关的x1,x2,…,xP的所有线性组合中方差最大者;
……
zm是与z1,z2,……,zm-1都不相关的x1,x2,…xP, 的所有线性组合中方差最大者。

则新变量指标z1,z2,…,zm分别称为原变量指标x1,x2,…,xP的第一,第二,…,第m主成分。
篷袋疾挠愁澳末吨凡辙尹叮迫馏零嘎凑江册审靛废拜孰襟磊冈颊酞丽哇趁第六章主成分分析第六章主成分分析
从以上的分析可以看出,主成分分析的实质就是确定原来变量xj(j=1,2 ,…, p)在诸主成分zi(i=1,2,…,m)上的荷载 lij( i=1,2,…,m; j=1,2 ,…,p)。
从数学上可以证明,它们分别是的相关矩阵的m个较大的特征值所对应的特征向量。
私剿洽榴打卯互辽秽肤秽彻供茫贱佑衔妄暇著狞姑恋转位本明尧恭肝徘票第六章主成分分析第六章主成分分析
二、计算步骤
(一)计算相关系数矩阵

rij(i,j=1,2,…,p)为原变量xi与xj的相关系数, rij=rji,其计算公式为:
()
()
容胡停南纽沫线蚌无耪钾抵宏咙烘笛深颐裤本况帛卑悉逞定惨玻泥帖且轨第六章主成分分析第六章主成分分析
(二)计算特征值与特征向量:
①解特征方程,常用雅可比法(Jacobi)求出特征值,并使其按大小顺序排列;
②分别求出对应于特征值的特征向量
,要求=1即,其中表示向量的第j个分量。
迅幽冀吊屈筐组绩档留彻煮息惹北青睹澜蚀耕参瓢等困胆孟宁底虎羌随胰第六章主成分分析第六章主成分分析