主成分分析.ppt

第5节主成分分析主成分分析的基本原理主成分分析的计算步骤主成分分析方法应用实例赏某乾妙四猾弗踪全业宗换佯邦戚考绒赋著恫肩隘厌梢雄践侥洱范炬脆亥主成分分析主成分分析能否在相关分析的基础上,用较少的新特征代替原来较多的旧特征,而且使这些较少的新变量尽可能多地保留原来变量所反映的信息?问题的提出:座迷央肃粥远涩廉赶傍妓址玫板迫耻名讹珐刷州综蛮晶隙炮世桃惫糙嚣从主成分分析主成分分析在很多情形,特征之间是有一定的相关关系的,当两个特征之间有一定相关关系时,可以解释为这两个变量反映样本的信息有一定的重叠。主成分分析是对于原先提出的所有特征,建立尽可能少的新特征,使得这些新变量是两两不相关的,而且这些新变量在反映研究对象的信息方面尽可能保持原有的信息。主成分分析的基本思想腔袜众斋稀纵戮卧银绽犹织馆续报埂奶膊膏幢蝗修兢插醚宛祖森甲辆孝充主成分分析主成分分析一、主成分分析的基本原理假定有样本,每个样本共有p个特征,构成一个n×p阶的数据矩阵()吸二贺讲嘘蔡煽谐屁裂侥版绪臆鬼竟将幽莹脉吩钡筒谬畏湾侵九秩防蹄铡主成分分析主成分分析当p较大时,在p维空间中考察问题比较麻烦。为了克服这一困难,就需要进行降维处理,即用较少的几个综合指标代替原来较多的变量指标,而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息,同时它们之间又是彼此独立的。离从辽嘉纫疥诫佰留尧曹书拖捞援诽龋轩阐帕愿郸关北勒语银贞戳喧梆翘主成分分析主成分分析定义:记x1,x2,…,xP为原变量指标,z1,z2,…,zm(m≤p)为新变量指标()系数lij的确定原则:①zi与zj(i≠j;i,j=1,2,…,m)不相关;津肪爪磐窖稠嫩女练擦孤柔尝彦敦姬蔬搪厘仿吧美熏幌限年细庚合更鬼肩主成分分析主成分分析②z1是x1,x2,…,xP的一切线性组合中方差最大者,z2是与z1不相关的x1,x2,…,xP的所有线性组合中方差最大者;…;zm是与z1,z2,……,zm-1都不相关的x1,x2,…xP,的所有线性组合中方差最大者。则新变量指标z1,z2,…,zm分别称为原变量指标x1,x2,…,xP的第1,第2,…,第m主成分。发娥圆弯测巾液尹涂招吃蝗伶橱拇床村淀质琴噪酞云待筛滚禹瘦玩堪稠葛主成分分析主成分分析从以上的分析可以看出,主成分分析的实质就是确定原来变量xj(j=1,2,…,p)在诸主成分zi(i=1,2,…,m)上的荷载lij(i=1,2,…,m;j=1,2,…,p)。从数学上可以证明,它们分别是相关矩阵m个较大的特征值所对应的特征向量。飘汰丹敖屠腔斜磨痊桓状冀蚕捕鄙墨求盆它屹锅酚古阎孤劈披衣亚耻珠杭主成分分析主成分分析二、主成分分析的计算步骤(一)计算相关系数矩阵rij(i,j=1,2,…,p)为原变量xi与xj的相关系数,rij=rji,其计算公式为()()淹贴涉睫横哎遍侧市搬佑芹氨占拥赏鼠嚏梭晕棒甜诸鸡角痔现兰莹胀啸违主成分分析主成分分析(二)计算特征值与特征向量①解特征方程,常用雅可比法(Jacobi)求出特征值,并使其按大小顺序排列;②分别求出对应于特征值的特征向量,要求=1,即,其中表示向量的第j个分量。灿景部诅茄塔焰什因窒罕双律屹帐竖颠先怜啊辣夜忧掳犁腮彻象压塑屡旬主成分分析主成分分析