KPCA基于核的主城分析.ppt

基于核的主成分分析(Kernel ponent analysis ,KPCA )主要内容 原理回顾 原理 在电子鼻系统中的应用 。 KPCA 正是一种非线性主成分分析方法,它能有效提取非线性特征,具有更广阔的实际应用。 KPCA 方法原理示意图原始数据空间高维特征空间间接实现非线性映射核方法非线性映射 PCA 分析),( jixx)()( jixx???),( jixxK)()(),(),( jijijixxxxKxx????? 原理分析几何意义示意图原坐标系中, x 1,x 2凸显出明显的线性相关性; 新坐标系中, pc 1,pc 2几乎不相关。基本思想: 将多个相关变量投影到另一组正交空间内,得到一组新的变量,使得新变量具有最大的方差。(方差反映了数据差异的程度,方差最大的方向对应信息量最大的方向) 原理分析推导过程: (1)设矢量,记, (2)考虑如下线性变换其中均为相互正交的 p维单位向量,即变换后的新坐标系。通过求解,使得的方差达到最大。 原理分析 T 1 2 p ( , , ) ?? X X X X uX?)(E ov( CXΣ)= T 1 11 1 12 2 1p p 1 T 2 21 2 22 2 2p p 2 T p p1 1 p2 2 pp p p a a a a a a a a a ?? ?????? ????????? ???? Y X X X a X Y X X X a X Y X X X a X ???? 1 2 p? a ,a , ,a ia iY (3)求解的方差即对总体特征的贡献率(4)令,则(5)即为的协方差矩阵的特征值, 即为对应的特征向量。则当最大时,也即的方差达到最大,因此对应的特征向量就是第一主轴方向,称为第一主成分。 原理分析 1Y T T T 2 T 1 1 1 1 1 1 11 ( ) ( ) ( ( )) p k k k Var Var E p ?? ???? Y a X a X a X a Σa ( ) = V a r ? 1Y T 1 1 1 1 1 1 ? ?? ?? a a a ΣaΣ a a ? X 1a ? 1Y 1a 1 1 ? T Y a X 小结: 求解主成分的过程就是对原始矩阵的协方差矩阵进行特征值分解,并将特征值从大到小进行排序,则前面的 k个特征值对应的特征向量就是最佳的 k维投影方向。 原理分析????? 原理分析基本思想: 基于核函数原理,通过非线性映射将输入空间投影到高维特征空间,然后在高维特征空间中对映射数据做主成分分析,因而具有很强的非线性处理能力。