主成分分析简介.ppt

主成分分析简介
主成分分析简介
主成分分析是将多指标化为少数几个综合指标的一种统计方法。
宗旨：降维
综合变量既要能尽可能多地反映原来变量的信息，又要彼此互不相关
主成分分析简介
总体：Z=AX ,Z、X均为随机向量，A为线性变换矩阵。
对第i个变量，要使 方差最大，且与前面的所有变量均不相关
样本：Z=XA, X为样本数据阵，Z为样本主成分，A为线性变换矩阵。
主成分分析简介
考虑p维随机向量X〔均值为 ，协方差阵为 〕的线性变换
主成分分析简介
对 ，要使它尽可能多地反映原来变量的信息，最经典的方法就是以它的方差来表达，在限制条件 下，方差越大那么其包含的信息就越多〔其将包含各 的方差及协方差〕
同时，对于 ，那么不希望再出现 所反映过的信息，所以要求
如此类推，…那么可解出全部主成分。
可以证明，就样本数据而言，对样本相关阵

作特征值分解，即可获得以上理论所阐述的主成分
Z=XA
主成分分析简介
ICA的背景介绍
ICA可以看成是主成分分析与因子分析的延展,它是一种强有力的技术,当经典方法完全失效时,仍能找到支撑观测数据的内在因子。
目的：从多通道测量中得到的有假设干独立信源线性组合成的观察信号中，将这些独立成分分解开来。
根本ICA模型
变量的设定
S，不可知的真实变量所构成的数据样本
X，通过多个通道观测到的数据样本
Z，对观测数据进展白化〔whitening〕处理后的数据矩阵
Y，对Z进展线性处理后得到的对S的估计
A，线性变换矩阵，X=AS
B，A的逆，非方阵为广义逆矩阵
根本ICA模型
可以认为，观测到的n个随机变量，由另外n个随机变量线性组合得到
独立成分必须是非正态的或至少不全是正态的，在正态假设下，直接使用主成分分析或因子分析方法即可到达目的，由相关性的理解，ICA的解法中必然将涉及到高阶累积量(高阶矩构成的统计量)