基于带权多维尺度变换的奇异值挖掘.doc

基于带权多维尺度变换的奇异值挖掘.doc:..(同济大学计算机科学与技术系上海201804)摘要大童的高维数据在分布上表现为一低维流形,试图从这样的数据集中探测出奇异点,传统的奇异点挖掘算法可能失效。本文提出了一种带权重的多维尺度变化,算法通过局部的高维数据集和其低维重构的误差来设定数据点的局部权空,再利用权重之和得到的数据点置信度,。关键词奇异值,多维尺度变换,带权多维尺度变换,流形学习 /OutliersMiningviaWeightedMultidimensionalityScalingWEILaiWANGShou-JueXUFei-Fei(puterScienceandTechnology♦TongjiUniversity,Shanghai201804)AbstractMiningoutliersfromthedatasetwhichisdistributedonalowdimensionalmanifoldisahardtaskTheex・Itisbasedonmultidimensionalityscaling・,,MDS,WeightedMDS,Manifoldlearning1引言在大量的数据中可能包含着一些数据,它们与一般的数据的行为和模型不一致。这些被称为奇异点(outliers)的数据在大部分情况下会被去除,但在一些应用中非正常的事件可能比正常的事件更有趣,因此作为数据挖掘的一个分支,奇异点挖掘也引起了很多学者的关注口~‘】。通过对奇异值表现的分析,大部分挖掘算法可以归为如下四类;基于统计的检测⑶、基于距离的检测〔“】、基于偏差的检测⑹以及基于密度的检测但是随着信息技术的发展,数据的形式和内容与以往有了较大的区别,表现在数据的高维数和数据属性的高度相关。这些高维数据集的分布在高维观测空间形成了一种低维的几何结构,在数学上称为流形,这种几何结构是未知的,且非线性的。因此,以上传统的奇异点检测算法在这种情况下可能失效。为此需要一种新的方法来处理流形上奇异值检测的问题。本文提出了一种带权重的多维尺度变换奇异值挖掘算法(OutliersMiningviaWeightedMultidimensionalScaling,OMWMDS)。该算法利用多维尺度变换(MultidimensionalScaling)的思想