主成分分析PCA(含有详细推导过程以及案例分析matlab版)（已处理）.doc

主成分分析法 PCA
在实际问题中,我们经常会遇到研究多个变量的问题,而且在多数情况下,多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性,势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量,既能够代表原始变量的绝大多数信息,又互不相关,并且在新的综合变量基础上,可以进一步的统计分析,这时就需要进行主成分分析。
I. 主成分分析,自然希望它尽可能多地反映原来变量的信息,这里“信息”用方差来测量,即希望越大,表示包含的信息越多。因此在所有的线性组合中所选取的应该是方差最大的,故称为第一主成分。如果第一主成分不足以代表原来个变量的信息,再考虑选取即第二个线性组合,为了有效地反映原来信息,已有的信息就不需要再出现在中,用数学语言表达就是要求,称为第二主成分,依此类推可以构造出第三、四……第个主成分。
(二)主成分分析的数学模型
对于一个样本资料,观测个变量,个样品的数据资料阵为:
其中:
主成分分析就是将个观测变量综合成为个新的变量(综合变量),即
简写为:
要求模型满足以下条件:
①互不相关(,)
②的方差大于的方差大于的方差,依次类推
③
于是,称为第一主成分,为第二主成分,依此类推,有第个主成分。主成分又叫主分量。这里我们称为主成分系数。
上述模型可用矩阵表示为:
,其中
称为主成分系数矩阵。
三主成分分析的几何解释
假设有个样品,每个样品有二个变量,即在二维空间中讨论主成分的几何意义。设个样品在二维空间中的分布大致为一个椭园,如下图所示:
图1 主成分几何解释图
将坐标系进行正交旋转一个角度,使其椭圆长轴方向取坐标,在椭圆短轴方向取坐标,旋转公式为
写成矩阵形式为:
其中为坐标旋转变换矩阵,它是正交矩阵,即有,即满足。
经过旋转变换后,得到下图的新坐标:
图2 主成分几何解释图
新坐标有如下性质:
1 个点的坐标和的相关几乎为零。
2 二维平面上的个点的方差大部分都归结为轴上,而轴上的方差较小。
和称为原始变量和的综合变量。由于个点在轴上的方差最大,因而将二维空间的点用在轴上的一维综合变量来代替,所损失的信息量最小,由此称轴为第一主成分,轴与轴正交,有较小的方差,称它为第二主成分。
II. 主成分分析
其协差阵应为,

2、设原始数据的协方差阵为,如果原始数据进行了标准化处理后则协方差阵等于相关矩阵,即有,
3、再由主成分数学模型条件③和正交矩阵的性质,若能够满足条件③最好要求为正交矩阵,即满足
于是,将原始数据的协方差代入主成分的协差阵公式得
展开上式得
展开等式两边,根据矩阵相等的性质,这里只根据第一列得出的方程为:
为了得到该齐次方程的解,要求其系数矩阵行列式为0,即
显然,是相关系数矩阵的特征值,是相应的特征向量。
根据第二列、第三列等可以得到类似的方程,于是是方程
的个根,为特征方程的特征根,是其特征向量的分量。
4、下面再证明主成分的方差是依次递减
设相关系数矩阵的个特征根为,相应的特征向量为
相对于的方差为
同样有:,即主成分的方差依次递减。并且协方差为:
综上所述,根据证明有,主成分分析中的主成分协方差应该是对角矩阵,其对角线上的元素恰好是原始数据相关矩阵的特征值,而主成分系数矩阵的元素则是原始数