主成分分析(PCA)入门.doc

神经网络方法课程报告 吴强 200820901021
浅析主成分分析方法
简介
成分分析(PCA)是现代数据分析方法的支柱,它就像一个黑箱被广泛地运用在各个领域,在本文中本人将谈谈对主成分分析的认识,对PCA数据压缩,去噪的应用的理解,以及PCA局限性和其在脑电分类问题的实际应用中的问题,最后简单分析了在EEG/fMRI同步采集信号时利用PCA去噪可能存在的问题｡
虚拟实验例子
这里我首先举一个主成分分析的虚拟实验作为例子,以便能更好地,更直观地理解PCA｡
虚拟实验模型如下图所示,下图中的红球的运动是我们要考察或者说是观测的对象,而红球被通过一个弹簧连接到固定的墙上,红球做沿弹簧径向的反复震动,下图中就是X轴方向,当然由于各种外界因素的干扰影响,如摩擦,碰撞,弹簧的非理想结构,使得红球的运动方向除了沿弹簧径向方向外还有在其他方向具有不确定性的运动｡
为了观测红球的运动,虚拟实验中设计了三个摄像头A/B/C,从不同角度来记录红球的运动,而虚拟实验的目的就是通过三个摄像头A/B/C的观测数据找出红球的最主要的运动方向,即沿弹簧径向的运动的X轴方向｡
这里根据应用PCA分析的常见的实际情况,有以下假设:
摄像头只能观测到红球在其二维坐标中的坐标位置｡
假设弹簧对于摄像头是不可见的｡
除红球摄像头的位置坐标,X/Y/Z坐标系是未知的且不可直接观测的｡
三个摄像头A/B/C的相对位置,拍摄方向未知
如果有一个问题:红球到底是沿什么方向的弹簧驱动的?
现在可能有人会说,红球主要的运动方向不是显而易见的吗?一眼就可以看出来!当然由于人眼的立体视觉,如果在现实中重现该实验确实能一眼就搞定｡但是请问如果是超过三维的高维空间呢?实际上一般每个传感器能观测采样到的往往是一维时间序列数据,而由这样多个传感器采样数据构成的多维观测数据矩阵,给你这样一个矩阵你又如何能“看出”如本虚拟实验中的红球的弹簧弹性震动的运动方向?
所以要解决这个问题,我们就可以运用PCA分析方法｡通过PCA就可以从三个摄像头的观测数据中分析出红球的本征弹性震动,即沿着弹簧方向的运动,从数学的角度说就是找到在由A/B/C三个摄像头所记录数据构成的空间中,找到X轴方向的坐标表示,即给空间中的一个向量｡
PCA分析方法原理
PCA方法的基础是方差分析,其一个最基本的假设:在投影方向上观测数据分布的方差越大,该投影方向越能体现数据中的主要信息｡由上图中的虚拟实验的例子,显然红球在X轴方向的投影,或者说红球位置坐标在X轴的值的方差显然会最大,所以我们就是要通过PCA方法找到这个X轴方向｡
为简化说明,以一个二维数据矩阵为例,假设X是2×M的观测数据矩阵,M表示M个时间采样点,每时间点上有2个采样数据,在经过共平均参考后,假设获得如下的散点图分布,很显然将每个采样点沿图中长黑线方向投影,其投影后的坐标值的序列的方差是最大的,此时我们的PCA就是用来找到长黑方向的一个单位向量｡
以上过程可以用数学公式表示:
假设单位列向量u(2×1),uTX=[uTx1 , uTx2 , …. uTxm] uTxi 是每个采样点上的二维数据在单位向量u上的投影,由于X经过共平均参考处理,所以其均值向量μ= 0,所以原始观测数据经单位向量u投影后的方差
VAR(uTX)= ∑(uTx