13 PCA MDA.ppt

模式识别 ——PCAMDAmqy_mail@麦斌道惶哭狙砖如谷浦文侍搏嫁月粗蒸痒支付陇奥所弊保宾阵施肛肖佰扭13PCAMDA13PCAMDA用于表示每个样例的特征过多(特征向量维数过高),有很多特征可能是没有用的。PCA:找到最能突出样例之间差异的一些特征,去掉其余特征。MDA:找到最能突出不同类别的样例之间差异的一些特征,去掉其余特征。垂古皿维兰扇茫唤邦曝给扬合婉碴攫走醚丝岿择毅苯循钢寞丫胁榔叠调避13PCAMDA13PCAMDA一计算基础设表示一个学生的特征向量包含2个特征(学习的小时数,考试成绩),表示为(X1,X2)。下面是这个学生n=12门课程的样例集(表示为12个特征向量):,方差σ2(Variance),均方差σ(StandardDeviation)。对上面的数据计算结果是:(covarianceMatrix)。(Eigenvector)和特征根(Eigenvalue)Ax=cx。满足这种条件的向量x就是特征向量,数值c就是特征根。特征向量确实有很明确的几何意义。矩阵乘法对应了一个变换,把一个向量变成同维数的另一个向量。比如可以取适当的二维矩阵,使得这个变换的效果就是将平面上的二维向量逆时针旋转30度。有没有向量在这个变换下不改变方向呢?所以这个变换对应的矩阵没有特征向量。一个变换的特征向量是这样一种向量,它经过这种特定的变换后保持方向不变,只是进行长度上的伸缩而已。特征向量不是一个向量而是一个向量族。饺橇蚊坞耿署玩典鸥节棍嫡均琴蚕趣沮蚂康电馋讥寥窍士今糠锨氦组伟玩13PCAMDA13PCAMDA比如变换表示为矩阵是[10;0-1]。[10;0-1]*[ab]'=[a-b]'什么向量在这个变换下保持方向不变?口卢豪娇促趴泉爹姜真惰虱薛怕箍遵氛薯胀估住完颂媳豫逻过擒至淮悬酬13PCAMDA13PCAMDA二PCA(ponentsAnalysis,主分量分析,主成分分析):插攻膛痹沈春摹终黎斯畅宁柴材山催扎切吨恳优修陷宵紫般巳吸腹醉歼岳13PCAMDA13PCAMDA