判别分析(2)费希尔判别.ppt

第四章判别分析
Fisher判别
Fisher判别
在应用多元统计方法解决分类问题时,问题之一航是维数问题。在
低维空间里解析上或计算上行得通的方法,在高维空间里往往行不通。
因此,降低维数有时就成为处理实际问题的关键
可以考虑把d维空间的样本投影到一条直线上,形成一维空间,这
在数学上是容易办到的。然而,即使样本在d维空间里形成若干紧凑的
相互分得开的集群,若把它们投影到一条任意的直线上,也可能使几类
样本混在一起而变得无法识别。但在一般情况下,总可以找到某个方向
使在这个方向的直线上,样本的投影能分开得最好。问题是如何根据实
际情况找到这条最好的、最易于分类的投影线。这就是 Fisher法则所要
解决的基本问题。
Fisher判别
从距离判别法,我们已经看到判别规则是一个线
性函数,由于线性判别函数使用简便,因此我们
希望能在更一般的情况下,建立一种线性判别函
数。 Fisher判别法是根据方差分析的思想建立起
来的一种能较好区分各个总体的线性判别法,
Fisher在1936年提出。该判别方法对总体的分布
不做任何要求
Fisher判别
判别函数( discriminant function):指的是
个关于指标变量的函数。每一个样本在
指标变量上的观察值代入判别函数后可以
得到一个确定的函数值。
判别准则( discriminant rule):对样本的判
别函数值进行分类的法则。
Fisher判别
费希尔判别的基本思想是投影(或降维)
Fisher方法是要找到一个(或一组)投
影轴w使得样本投影到该空间后能
在保证方差最小的情况下,将不同
G
类的样本很好的分开。并将度量类
别均值之间差别的量称为类间方差
(或类间散布矩阵);而度量这些均值
o。。
周围方差的量称为类内方差(或类内
散布矩阵)。 Fisher判决的目标就是
寻找一个或一组投影轴,能够在最
k,小化类内散布的同时最大化类间布。
Fisher判别
内容
、建立判别准则
2、建立判别函数
3、回代样本;
4、估计回代的错误率;
、判别新的样木。
Fisher判别
由予(X)是线性函数,一般可将yX表示为
y(X)=cix,+c2r2+.+Cmx
()
对于线性函数(X),它的几何表示就是空间中
的一条直线或平面,或超平面,如果我们把两
总体A、B看成空间的两个点集,该平面所起的
作用就是尽可能将空间两个点集A、B分开,如

Fisher判别
要选择一个正确的投影方向
使同类样品点沿该方向在直
线上的投影点尽可能集中
不同类样品点尽可能分开,
这就是费歇提出的关于未知
样品归属于两类总体的模型
形成思想。
鼻子高低

Fisher判别
选择合适的投影方向,就是要建立合适的判别
函数
1若判别函数是
y, (X)=cr+c2r2+-+Cmx
则为线性判别分析
2否则为非线性判别分析,如
y,(X)=C,x+c2x2+c3
两总体的 Fisher判别法
设已知两总体A和B,通过分析研究在A、B
两总体中分别提取了m个特征量x1,x2,…,x
然后对A、B两总体分别作n、n次试验,得A、B
两总体的试验观测数据如下:
X A2I
现在问来自于A、B两总体的待判样品
x,x…,x)属于A、B中哪一类?