知识发现与数据挖掘论文.doc

知识发现与数据挖掘论文.doc知识发现与数据挖掘论文
内容提要: 本文介绍了知识发现及其数据挖掘的发展历史,数据挖掘常用技术及应用。【关键词】知识发现,数据挖掘 1、引言随着数据库技术的成熟和数据应用的普及,人类积累的数据量正在以指数速度迅内容提要: 本文介绍了知识发现及其数据挖掘的发展历史,数据挖掘常用技术及应用。【关键词】知识发现,数据挖掘
1、引言
随着数据库技术的成熟和数据应用的普及,人类积累的数据量正在以指数速度迅速增长。进入九十年代,伴随着因特网(Inter)的出现和发展,以及随之而来的企业内部网(Intra)和企业外部网(Extra)以及虚拟私有网(VPNVirtualPrivateationpoor)和“数据关在牢笼中”(datainjail),奈斯伯特(JohnNaisbett) 惊呼“.它是一个反复的过程,通常包含多个相互联系的步骤:预处理、提出假设、选取算法、提取规则、评价和解释结果、将模式构成知识,最后是应用。在实际,人们往往不严格区分数据挖掘和数据库中的知识发现,把两者混淆使用。一般在科研领域中称为KDD,而在工程领域则称为数据挖掘。
4、数据挖掘中常用技术
目前市面数据挖掘应用方面有着种类繁多的商品工具和软件,大致可以归纳为下列主要类型:
1传统主观导向系统:这是针对专业领域应用的系统。如基于技术分析方法对金融市场进行分析。采用的方法从简单的走向分析直到基于高深数学基础的分形理论和谱分析。这种技术需要有经验模型为前提。属于这类商品有美国的Metastak,SuperCharts, CandlestickForecaster和oney等2传统统计分析:这类技术包括相关分析、回归分析及因子分析等。一般先由用户提供假设,再由系统利用数据进行验证。缺点是需经培训后才能使用,同时在数据探索过程中,用户需要重复进行一系列操作。属于这类商品有美国的SAS,SPSS和Stargraphis等。由于近年来更先进的DM方法的出现和使用,这些厂商在原有系统中综合一些DM部件,以获得更完善的功能。以上两种技术主要基于传统的数理统计等数学的基础上,一般早已开始用于数据分析方面。
3神经元网络(NN)技术:神经元网络技术是属于软计算(Softputing)领域内一种重要方法,它是多年来科研人员进行人脑神经学习机能模拟的成果,已成功地应用于各工业部门。在DM(KDD)的应用方面,当需要复杂或不精确数据中导出概念和确定走向比较困难时,利用神经网络技术特别有效。经过训练后的NN可以想像具有某种专门知识的“专家”,因此可以像人一样从经验中学习。NN有多种结构,但最常用的是多层BP(backpropagation)模型。它已广泛地应用于各种 DM(KDD)工具和软件中。有些是以NN为主导技术,例如俄罗斯的PolyAnalyst,美国的BrainMaker,Neurosell和O成套软件中。其缺点是用它来分析复杂的系统诸如金融市场,NN就需要复杂的结构为数众多神经元以及连接数,从而使现有的事例数(不同的纪录数)无法满足训练的需要。另外由受训后的NN所代表的预测模型的非透明性也是其缺点,尽管如此,它还是广泛而成功地为各种金融应用分析系统所采用。
4决策树:在知识工程领域,决策树是一种简单的知识表示方法,它将事例逐步分类成代表不同的类别。由于分类规则是比较直观的,因