距离判别分析.ppt

1
判别分析利用已知类别的样本为标准,对未知样本进行判类的一种统计方法。它产生于上世纪30年代。近年来,在自然科学、社会学及经济管理学科中都有广泛的应用。判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息,总结出客观事物分类的规律性,建立判别公式和判别准则。然后,当遇到新的样本点时,只要根据总结出来的判别公式和判别准则,就能判别该样本点所属的类别。
判别分析
2
§1 距离判别
(一)马氏距离
距离判别的最直观的想法是计算样品到第i类总体的平均数的距离,哪个距离最小就将它判归哪个总体,所以,我们首先考虑的是是否能够构造一个恰当的距离函数,通过样本与某类别之间距离的大小,判别其所属类别。
3
设是从期望
为、协方差阵Σ=
的总体G抽得的两个观测值,则称
样本X和G类之间的马氏距离平方定义为X与G类重心间的距离平方:
注:重心即均值
为X与Y之间的Mahalanobis距离平方
4
马氏距离和欧式距离之间的差别
马氏距离平方
欧氏距离平方
5
2、马氏距离是标准化后的变量的欧式距离
1、马氏距离不受计量单位的影响;
6
7
xcov=[1 4; 4 100];
[v d ]=eig(xcov);
dn=[ 0;
0 ];
%dn=d^-1
v*dn*v'
inv(xcov)
输出结果显示v*dn*v‘=inv(xcov)
8
3、若变量之间是相互无关的,则协方差矩阵为对角矩阵
9
10
两个总体的距离判别
由于马氏距离与总体的协方差矩阵有关,所以利用马氏距离进行判别分析需要分别考虑两个总体的协方差矩阵是否相等.

①线性判别函数(Ⅰ)
设有两个总体G1,G2,均值分别为
协方差矩阵相等均为Σ,考虑样品x到两个总体的马氏距离平方差: