多维尺度变换(MDS).ppt

1
流形学
人脸识别课题组
中国科学院计算技术研究所
2010/05/06 @ VMR Group Book Reading
/project/faceId/paperreading/vlpr/
2
提纲
研究背景
基本知识介绍
经典方法概览
总结讨论
3
提纲
研究背景
基本知识介绍
经典方法概览
总结讨论
4
从降维问题说起
降维的动机
原始观察空间中的样本具有极大的信息冗余
样本的高维数引发分类器设计的“维数灾难”
数据可视化、特征提取、分类与聚类等任务需求
5
从降维问题说起
降维的动机
增加特征数
增加信息量
提高准确性
增加训练分类器的难度
维数灾难
解决办法:选取尽可能多的, 可能有用的特征, 然后根据需要进行特征/维数约简.
6
从降维问题说起
降维的动机
特征选择
特征约简
特征提取
依据某一标准选择性质最突出的特征
实验数据分析,数据可视化(通常为2维或3维)等也需要维数约简
经已有特征的某种变换获取约简特征
7
降维方法概述
线性降维
通过特征的线性组合来降维
本质上是把数据投影到低维线性子空间
线性方法相对比较简单且容易计算
代表方法
主成分分析(PCA)
线性判别分析(LDA)
多维尺度变换(MDS)
8
线性降维方法
主成分分析(PCA) [Jolliffe, 1986]
降维目的:寻找能够保持采样数据方差的最佳投影子空间
求解方法:对样本的散度矩阵进行特征值分解, 所求子空间为经过样本均值, 以最大特征值所对应的特征向量为方向的子空间
ponent
9
线性降维方法
主成分分析(PCA) [Jolliffe, 1986]
PCA对于椭球状分布的样本集有很好的效果, 学习所得的主方向就是椭球的主轴方向.
PCA 是一种非监督的算法, 能找到很好地代表所有样本的方向, 但这个方向对于分类未必是最有利的
10
线性降维方法
线性判别分析(LDA) [Fukunaga, 1991]
降维目的:寻找最能把两类样本分开的投影直线,使投影后两类样本的均值之差与投影样本的总类散度的比值最大
求解方法:经过推导把原问题转化为关于样本集总类内散度矩阵和总类间散度矩阵的广义特征值问题
Best projection direction for classification