尺度的应用_基于带权多维尺度变换的奇异值挖掘=.pdf

3 )国家自然科学基金项目(60495019 ),教育部博士点专项基金(20060247039 )。魏莱博士研究生,研究方向:流形学习、仿生模式识别、信息几何、粗糙集理论。计算机科学 2008Vol1 35№1 1 基于带权多维尺度变换的奇异值挖掘 3 ) 魏莱王守觉徐菲菲(同济大学计算机科学与技术系上海 201804 ) 摘要大量的高维数据在分布上表现为一低维流形,试图从这样的数据集中探测出奇异点,传统的奇异点挖掘算法可能失效。本文提出了一种带权重的多维尺度变化,算法通过局部的高维数据集和其低维重构的误差来设定数据点的局部权重,再利用权重之和得到的数据点置信度,以此来进行奇异值的判定。通过实验验证了算法的有效性。关键词奇异值,多维尺度变换,带权多维尺度变换,流形学习 OutliersMiningviaWeightedMultidimensionalityScaling WEILai WANGShou2 Jue XUFei2 Fei (puterScienceandTechnology,TongjiUniversity,Shanghai201804 ) Abstract , scorebythealgorithm, experimentsshowtheefficiencyofthealgorithm. Keywords Outliers,MDS,WeightedMDS,Manifoldlearning 1 引言在大量的数据中可能包含着一些数据,它们与一般的数据的行为和模型不一致。这些被称为奇异点(outliers )的数据在大部分情况下会被去除,但在一些应用中非正常的事件可能比正常的事件更有趣,因此作为数据挖掘的一个分支,奇异点挖掘也引起了很多学者的关注[1~ 3]。通过对奇异值表现的分析,大部分挖掘算法可以归为如下四类:基于统计的检测[3]、基于距离的检测[4,5]、基于偏差的检测[6]以及基于密度的检测[7]。但是随着信息技术的发展,数据的形式和内容与以往有了较大的区别,表现在数据的高维数和数据属性的高度相关。这些高维数据集的分布在高维观测空间形成了一种低维的几何结构,在数学上称为流形, 这种几何结构是未知的,且非线性的。因此,以上传统的奇异点检测算法在这种情况下可能失效。为此需要一种新的方法来处理流形上奇异值检测的问题。本文提出了一种带权重的多维尺度变换奇异值挖掘算法(OutliersMiningviaW