距离判别分析.ppt

实际问题中如何应用主成分分析
如果遇到多目标决策问题,即有n个样品,每个样品有p个指标,,换成k(k<p)个主成分,然后根据主成分的数值(又称主成分的得分)进行排序。
若为利润型指标,则主成分得分大者排名靠前;
若为成本型指标,则主成分得分小者排名靠前;
若只选第一主成分,则按其得分进行排名;
若选k个主成分,则按他们的加权平均进行排名
其中权向量就是k个特征值的归一化向量.
解决实际问题有时采用协方差矩阵,有时采取相关系数矩阵,究竟用那个矩阵要具体问题具体分析,通常有以下准则:
1. 若量纲不一样,应当先进行无量纲化,而相关系数矩阵就是实现无量纲化的方法之一,故此时应采取相关系数矩阵计算;
2. 用协方差矩阵与相关系数矩阵计算主成分得分的公式不一样,协方差矩阵用原始数据(统一趋势后)左乘特征值矩阵;相关系数矩阵用标准化以后的矩阵左乘特征值矩阵.
如何解读计算主成分的数学表达式
我们设计算第一主成分的公式为:
若a11, a12 ,a14的绝对值比较大,表明第一主成
分主要提取了x1, x2 ,x4三个原始指标的信息;
如果此时再计算第二主成分,你会发现第二主
成分x3系数的绝对值就比x1, x2 ,x4系数的绝对
值要大,也就是说第二主成分弥补了第一主成
分的不足.
主成分分析可以有助于回归分析中自变量
的选择,如果原有n个自变量进行拟合效果
不好,可考虑选择k个主成分为自变量进行
拟合(k<n),其原因在于原始的自变量之间
可能存在一定的相关性,而主成分之间彼
此不相关,可望消除多重共线性.
判别分析利用已知类别的样本为标准,对未知样本进行判类的一种统计方法。它产生于本世纪30年代。近年来,在自然科学、社会学及经济管理学科中都有广泛的应用。判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息,总结出客观事物分类的规律性,建立判别公式和判别准则。然后,当遇到新的样本点时,只要根据总结出来的判别公式和判别准则,就能判别该样本点所属的类别。
第四章判别分析
§1 距离判别
(一)马氏距离
距离判别的最直观的想法是计算样品到第i类总体的平均数的距离,哪个距离最小就将它判归哪个总体,所以,我们首先考虑的是是否能够构造一个恰当的距离函数,通过样本与某类别之间距离的大小,判别其所属类别。
设是从期望
为、协方差阵Σ=
的总体G抽得的两个观测值,则称
样本X和G类之间的马氏距离平方定义为X与G类重心间的距离平方:
为X与Y之间的Mahalanobis距离平方
注:重心即均值
马氏距离和欧式距离之间的差别
马氏距离
欧氏距离
马氏距离有如下的特点:
2、马氏距离是标准化后的变量的欧式距离
1、马氏距离不受计量单位的影响;
3、若变量之间是相互无关的,则协方差矩阵为对角矩阵