费歇尔判别第三节.ppt

§3费歇尔判别法两个总体的费歇(Fisher)判别法X 不能使总体尽可能分开的方向能使总体单位尽可能分开的方向旋转坐标轴至总体单位尽可能分开的方向,此时分类变量被简化为一个费歇判别的基本思想是投影,将k组p维数据投影到某一个方向,使其投影的组与组之间尽可能地分开。u????????????????????????????????????????????????费歇判别的基本思想Fisher判别法由Fisher在1936年提出,是根据方差分析的思想建立起来的一种能较好区分各个总体的线性判别法,该判别方法对总体的分布不做任何要求。从两个总体中抽取具有p个指标的样品观测数据,借助于方差分析的思想构造一个线性判别函数:ppxcxcxcy?????,,,21?假设我们可以得到一个线性判别函数:ppxcxcxcy?????2211我们把两个总体的样品数据代入上面的判别式)1()1(22)1(11)1(ippiiixcxcxcy?????)2()2(22)2(11)2(ippiiixcxcxcy?????使组间离差平方和最大,而组内离差平方和最小。1,,2,1ni??2,,2,1ni?????????11111niiyny???????21221niiyny?????????pkkkppxcxcxcxcy1)1()1()1(22)1(111????????pkkkppxcxcxcxcy1)2()2()2(22)2(11)2(???????221yyQ??RQI?max?为了使判别函数能够很好地区分来自不同总体G1和G2的样品,自然希望:(2)来自同一总体的各个样品之间的差异越小越好。????????????2122211121????????niiniiyyyyR即的离差平方和越小越好??????21222???niiyy),,2,1(2)2(niyi????????21111???niiyy),,2,1(1)1(niyi??即的离差平方和越小越好min?max?)1(y)2(y (1)和的差异越大越好RQI?max?nRnQnI?????0???kcnI???pk,,2,1??令011?????????I?由于kkcRcQI?????1故max???2)2()1(yyQ????????2121??????????pkkkkxxc21????????????Q?????????????12????xxkkkd21??pk,,2,1??其中??????????????????xxxxxxxxpppddd212**********????????????????????????????????????即为两类总体的样本均值差????????2122211121????????????????????niiniiyyyyR????????????2**********?????????????????????????????????????????????????????????????????????????????????????11????????????????????????????????????????????11?????????????????????????xxxxxxxxlilnikiklilnikikkls221221111121??????????R222222111??????????????????klpllkplllscddcI?????????????1122pk,,2,1??其中lplldcI???11?令),,2,1(pk??kklplldsc???1pk,,2,1??kpkpkkdcscscs?????2211?k是常数因子,不依赖于1??它对方程组只起共同扩大倍数的作用,不影响判别结果,不妨取于是得到???????????????????ppppppppppdcscscsdcscscsdcscscs????221122222**********pk,,2,1??????????????????????????????????????????????sssssssss?????????21212**********??????????????????????????????????????????????????????21121222211121121用矩阵表示:因此得到