主成分分析法.ppt

SAS SAS SAS 软件与统计应用教程? 主成分分析? 主成分分析的概念与步骤? 使用 INSIGHT 模块作主成分分析? 使用“分析家”作主成分分析主成分分析 SAS SAS SAS 软件与统计应用教程 主成分分析的概念与步骤 1. 主成分分析基本思想主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标(比如 p 个指标),重新组合成一组新的互不相关的综合指标来代替原来指标。通常数学上的处理就是将原来 p 个指标作线性组合,作为新的综合指标。但是这种线性组合, 如果不加限制,则可以有很多,应该如何去选取呢? SAS SAS SAS 软件与统计应用教程在所有的线性组合中所选取的 F 1 应该是方差最大的, 故称 F 1 为第一主成分。如果第一主成分不足以代表原来 p 个指标的信息,再考虑选取 F 2 即选第二个线性组合。为了有效地反映原有信息, F 1 已有的信息就不需要再出现在 F 2 中,用数学语言表达就是要求 Cov( F 1,F 2)=0。称F 2 为第二主成分,依此类推可以构造出第三、第四、…、第 p个主成分。 SAS SAS SAS 软件与统计应用教程 2. 主成分分析的数学模型设有 n 个样品(多元观测值),每个样品观测 p 项指标(变量): X 1,X 2,…,X p,得到原始数据资料阵: 其中 X i = ( x 1i,x 2i,…,x ni )',i = 1 ,2,…,p。),..., ,(... ............ ... ... 21 21 222 21 112 11p np nn p pXXXxxx xxx xxxX???????????????? SAS SAS SAS 软件与统计应用教程用数据矩阵 X的p 个列向量(即 p 个指标向量) X 1, X 2,…,X p作线性组合,得综合指标向量: 简写成: F i = a 1iX 1 + a 2iX 2 +…+a piX pi = 1 ,2,…,p ??????????????????? ppp ppp pp ppXaXaXaF XaXaXaF XaXaXaF... ...... ... ... 2211 2222 112 2 1221 1 11 1 SAS SAS SAS 软件与统计应用教程为了加以限制,对组合系数 a i ' = ( a 1i,a 2i,…,a pi)作如下要求: 即: a i为单位向量: a i'a i = 1 ,且由下列原则决定: 1) F i与F j(i≠j, i, j = 1, …, p )互不相关,即 Cov( F i, F j ) = 0, 并有 Var( F i )=a i'Σa i,其中Σ为X的协方差阵 2) F 1是X 1,X 2,…,X p 的一切线性组合(系数满足上述要求)中方差最大的,即,其中 c = ( c 1,c 2,…,c p )' F 2 是与 F 1 不相关的 X 1,X 2,…,X p 一切线性组合中方差最大的, …,F p是与 F 1,F 2,…,F p-1都不相关的 X 1, X 2,…,X p的一切线性组合中方差最大的。 piaaa pi ii ,..., 2,1,1 ... 222 21?????)( max )( 1 1' 1???? pi Xc Var F Var SAS SAS SAS 软件与统计应用教程满足上述要求的综合指标向量 F 1,F 2,…,F p 就是主成分,这 p 个主成分从原始指标所提供的信息总量中所提取的信息量依次递减,每一个主成分所提取的信息量用方差来度量,主成分方差的贡献就等于原指标相关系数矩阵相应的特征值? i,每一个主成分的组合系数 a i ' = ( a 1i,a 2i,…,a pi) 就是相应特征值? i 所对应的单位特征向量 t i 。方差的贡献率为,? i 越大,说明相应的主成分反映综合信息的能力越强。 1/ p i i i i ? ????? SAS SAS SAS 软件与统计应用教程 3. 主成分分析的步骤(1) 计算协方差矩阵计算样品数据的协方差矩阵: Σ = ( s ij) p?p,其中 i, j = 1 ,2,…,p (2) 求出Σ的特征值及相应的特征向量求出协方差矩阵Σ的特征值? 1?? 2?…? p >0 及相应的正交化单位特征向量: 则X的第 i个主成分为 F i = a i'X i = 1 ,2,…,p。?????? nk j kji ki ijxxxxn s 1) )((1 1??????????????????????????????????