费歇尔判别第三节资料.ppt

§3费歇尔判别法两个总体的费歇( Fisher )判别法 X 不能使总体尽可能分开的方向能使总体单位尽可能分开的方向旋转坐标轴至总体单位尽可能分开的方向,此时分类变量被简化为一个费歇判别的基本思想是投影,将 k组p维数据投影到某一个方向,使其投影的组与组之间尽可能地分开。 u ????????????????????????????????????????????????费歇判别的基本思想 Fisher 判别法由 Fisher 在1936 年提出,是根据方差分析的思想建立起来的一种能较好区分各个总体的线性判别法,该判别方法对总体的分布不做任何要求。从两个总体中抽取具有 p个指标的样品观测数据,借助于方差分析的思想构造一个线性判别函数: ppxcxcxcy????? 2211 系数确定的原则,,, 21?假设我们可以得到一个线性判别函数: ppxcxcxcy????? 2211我们把两个总体的样品数据代入上面的判别式)1()1(22 )1(11 )1( ippiiixcxcxcy?????)2()2(22 )2(11 )2( ippiiixcxcxcy?????使组间离差平方和最大,而组内离差平方和最小。 1,,2,1ni?? 2,,2,1ni????????? 11 111 ni iy n y ??????? 21 221 ni iy n y ????????? pk kkppxcxcxcxcy 1 )1()1()1(22 )1(11 1???????? pk kkppxcxcxcxcy 1 )2()2()2(22 )2(11 )2(??????? 221yyQ??R QI? max ?为了使判别函数能够很好地区分来自不同总体 G 1和 G 2的样品,自然希望: (2)来自同一总体的各个样品之间的差异越小越好。???????????? 2 1 22 21 11 2 1???????? ni i ni iyyyyR 即的离差平方和越小越好?????? 2 1 22 2??? ni iyy ),,2,1( 2 )2(niy i???????? 21 11 1??? ni iyy),,2,1( 1 )1(niy i??即的离差平方和越小越好 min ? max ?)1(y )2(y (1 )和的差异越大越好 R QI? max ? nR nQ nI?????0??? kc nI??? pk,,2,1??令 0 11????????? kkkc RRc QQc nI?由于 kkc Rc QI?????1故 max ??? 2)2()1(yyQ???????? 2 1 21?????????? pk kk kxx c 21???????????? pk kkdc k pl Q?????????????12 ????xx kk kd 21??pk,,2,1??其中?????????????????? xxxx xx xx pp pd d d 2121 22 12 21 112 1????????????????????????????????????即为两类总体的样本均值差???????? 2 1 22 2 1 11 2 1???????????????????? ni i ni iyyyy R ???????????? 2 11 22 2 11 11 2 1???????????????????????? ni pk k ik k ni pk k ik kxxxx c c ???????????????????????????? 111 11 1 11 ni pl l il l pk k ik ???????????????????????????? 211 22 1 22 ni pl l il l pk k ik l pk pl kcc????? 11???????????????????????????????????????xxxxxxxx l il ni k ik l il ni k ik 22 1 2211 1 11 2 1 kll pk pl ????? 11????????????????????????? xxxxxxxx l il ni k ik l il ni k ik kls 22 1 2211 1 11 2 1?????????? kp p kk pl R2222 2211 1?????????????????? kl pl lk pl llscddcI????????????? 1 12 2pk,,2,1??其中 l pl ldcI??? 11?令),,2,1(pk?? k kl pl ldsc???1pk,,2,1?? kp kp kkdcscscs????? 2211 ?k是常数因子,不依赖