第三章线性判别分析非参数判别分类方法第四次课.ppt

章线性判别分析—— Fisher线性判决Fisher线性判决的基本思想是寻找一个最好的投影方向,当特征向量x从d维空间映射到这个方向上时,两类能最好地分开。这个方法实际上涉及特征维数的压缩问题。 线性分类器分析w1方向之所以比w2方向优越,可以归纳出这样一个准则:即向量w的方向选择应能使两类样本投影的均值之差尽可能大些,而使类内样本的离散程度尽可能小。这就是Fisher准则函数的基本思路。第一步:计算参量。(1)各类样本的均值向量μi:(2)样本类内离散度矩阵Si:总类内离散度矩阵Sw:第二步:计算最优投影方向,并将样本往该方向上投影。第三步:决策。在投影空间内的决策准则为:若y>y0,则x∈ω1,否则x∈ω2。Fisher线性判决步骤采用类似于人认知错误、纠正错误、通过自学习改善自己认识事物本领的过程,随意确定判别函数初始值,该值在对样本分类训练过程中逐步修正直至最终确定。基本思想:寻找一个权向量,使规范化增广样本向量集的错分类样本数最少。、{x1,x2,…,xN},两类的线性判决函数为yi为增广样本向量,v为增广权向量。线性可分:如果存在一个线性分类器能把每个样本正确分类,即若存在一个权向量v,使得对于任何yi∈ω1,都有vTyi>0,而对于任何yi∈ω2,都有vTyi<0,则称这组样本集线性可分;否则称为线性不可分。反过来,若样本集是线性可分的,则必然存在一个权向量v,能将每个样本正确地分类。如果样本集{y1,y2,…,yN}线性可分,则一定存在某个或某些权向量v,使如果令,则vTzi>0。规范化增广样本向量经过这样的变换后,我们可以不考虑样本原来的类别标志,只要找到一个对全部样本zi都满足vTzi>0(i=1,2,…,N)的权向量即可。满足vTzi>0(i=1,2,…,N)的权向量称为解向量。若把v看成是权向量空间中的一点,对于任一zi,vTzi=0在权向量空间确定了一个超平面,这个超平面把权空间分为两个半空间,该超平面的法向量为zi,超平面正侧的向量满足vTzi>0。相应地,N个样本确定了N个超平面,每个超平面把权空间分为两个半空间。所以,满足vTzi>0(i=1,2,…,N)的权向量必在这N个超平面正侧的交叠区,称这一交叠区为解区,解区中的任意向量都是解向量v*。