主成分分析法.pptx

§(或称主分量分析,ponentanalysis)由皮尔逊(Pearson,1901)首先引入,后来被霍特林(Hotelling,1933)发展了。主成分分析是一种通过降维技术把多个变量化为少数几个主成分(即综合变量)的统计分析方法。这些主成分能够反映原始变量的绝大部分信息,它们通常表示为原始变量的某种线性组合。主成分分析的一般目的是:(1)变量的降维;(2)主成分的解释。寻找主成分的正交旋转旋转公式:§、主成分的定义及导出二、主成分的性质三、从相关阵出发求主成分一、主成分的定义及导出设为一个维随机向量,,。考虑如下的线性变换希望在约束条件下寻求向量,使得达到最大,就称为第一主成分。设为的特征值,为相应的单位特征向量,且相互正交。则可求得第一主成分为它的方差具有最大值。如果第一主成分所含信息不够多,还不足以代表原始的个变量,则需考虑再使用一个综合变量,为使所含的信息与不重叠,应要求我们在此条件和约束条件下寻求向量,使得达到最大,所求的称为第二主成分。求得的第二主成分为其方差为。 一般来说,的第主成分是指:在约束条件和下寻求,使得达到最大。第主成分为主成分的几何意义在几何上,表明了第主成分的方向,是在上的投影值(即投影长度),是这些值的方差,它反映了在上投影点的分散程度。记,则主成分向量与原始向量有如下关系: 该正交变换的几何意义是将中由构成的原维坐标轴作一正交旋转,一组正交单位向量表明了个新坐标轴的方向,这些新坐标轴彼此仍保持正交(或说垂直)。二、,即,且互不相关。(或被所解释)的比例为称为主成分的贡献率。第一主成分的贡献率最大,表明它解释原始变量的能力最强,而的解释能力依次递减。主成分分析的目的就是为了减少变量的个数,因而一般是不会使用所有个主成分的,忽略一些带有较小方差的主成分将不会给总方差带来大的影响。前个主成分的贡献率之和称为主成分的累计贡献率,它表明解释的能力。通常取(相对于)较小的,使得累计贡献达到一个较高的百分比(如80%~90%)。此时,可用来代替,从而达到降维的目的,而信息的损失却不多。,通常我们只对与的相关系数感兴趣。