主成分分析.pptx

第六章主成分分析主成分分析的基本思想总体主成分的求解及其性质主成分个数的确定以及主成分分析的实现主成分分析的基本思想一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据,得到了17个反映国民收入与支出的变量要素,例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。在进行主成分分析后,%的精度,用三新变量就取代了原17个变量。根据经济学知识,斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是,这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率I以及时间t因素做相关分析,得到下表:---------:将原来较多的指标简化为少数几个新的综合指标的多元统计方法。主成分:由原始指标综合形成的几个新指标。依据主成分所含信息量的大小成为第一主成分,第二主成分等等。主成分分析得到的主成分与原始变量之间的关系:1、主成分保留了原始变量绝大多数信息。2、主成分的个数大大少于原始变量的数目。3、各个主成分之间互不相关。4、每个主成分都是原始变量的线性组合。主成分分析的运用:1、对一组内部相关的变量作简化的描述2、用来削减回归分析或聚类分析(Cluster)中变量的数目3、用来检查异常点4、用来作多重共线性鉴定5、用来做原来数据的常态检定数学模型假设我们所讨论的实际问题中,有p个指标,我们把这p个指标看作p个随机变量,记为X1,X2,…,Xp,主成分分析就是要把这p个指标的问题,转变为讨论p个指标的线性组合的问题,而这些新的指标F1,F2,…,Fk(k≤p),按照保留主要信息量的原则充分反映原指标的信息,并且相互独立。这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是,寻求原指标的线性组合Fi。满足如下的条件:1、每个主成分的系数平方和为1。即2、主成分之间相互独立,即无重叠的信息。即3、主成分的方差依次递减,重要性依次递减,即F1、F2….Fp分别称为原变量的第一、第二….第p个主成分。