距离判别分析.ppt

距离判别分析
解决实际问题有时采用协方差矩阵，有时采取相关系数矩阵，终究用那个矩阵要具体问题具体分析，通常有以下准那么：
1. 假设量纲不一样，应领先进展无量纲化，而相关系数矩阵就是实现无量纲化的方法之一，故此时应采取相关系数矩阵计算；
2. 用协方差矩阵与相关系数矩阵计算主成分得分的公式不一样，协方差矩阵用原始数据(统一趋势后)左乘特征值矩阵；相关系数矩阵用标准化以后的矩阵左乘特征值矩阵.
如何解读计算主成分的数学表达式
我们设计算第一主成分的公式为：
假设a11, a12 ,a14的绝对值比较大，说明第一主成
分主要提取了x1, x2 ,x4三个原始指标的信息；
如果此时再计算第二主成分，你会发现第二主
成分x3系数的绝对值就比x1, x2 ,x4系数的绝对
值要大，也就是说第二主成分弥补了第一主成
分的缺乏.
主成分分析可以有助于回归分析中自变量
的选择，如果原有n个自变量进展拟合效果
不好，可考虑选择k个主成分为自变量进展
拟合〔k<n),其原因在于原始的自变量之间
可能存在一定的相关性，而主成分之间彼
此不相关，可望消除多重共线性.
判别分析利用类别的样本为标准，对未知样本进展判类的一种统计方法。它产生于本世纪30年代。近年来，在自然科学、社会学及经济管理学科中都有广泛的应用。 判别分析的特点是根据已掌握的、历史上每个类别的假设干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准那么。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准那么，就能判别该样本点所属的类别。
第四章 判别分析
§1 距离判别
〔一〕马氏距离
距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。
设 是从期望
为 、协方差阵Σ=
的总体G抽得的两个观测值，那么称
样本X和G类之间的马氏距离平方定义为X与G类重心间的距离平方：
为X与Y之间的Mahalanobis距离平方
注：重心即均值
马氏距离和欧式距离之间的差异
马氏距离
欧氏距离
马氏距离有如下的特点：
2、马氏距离是标准化后的变量的欧式距离
1、马氏距离不受计量单位的影响;
3、假设变量之间是相互无关的，那么协方差矩阵为对角矩阵