数据流频繁模式和分类挖掘算法的研究（可复制毕业论文）.pdf

数据流频繁模式和分类挖掘算法研究摘要设计并实现滑动窗口模型下适合数据流的单遍扫描算法一频繁模式近年来,数据流广泛出现在多种应用领域中,如传感器网络、股票分析、网络故障监测等,与传统数据不同,数据流具有大量、快速连续到达、要求快速响应、一次扫描等特点,因此传统的数据挖掘技术不能直接应用到数据流上。利用有限系统资源对数据流进行快速处理以获取有用信息,为数据挖掘及其应用研究带来了新的机遇和挑战。本文主要对滑动窗口模型下的数据流中频繁模式和分类挖掘算法进行了研究。首先,对传统的数据挖掘相关理论和经典算法进行了深入分析,尤其是频繁模式挖掘算法狦惴ê途霾呤鞣掷郔算法,并取其之长运用到数据流相关任务的挖掘上,并一一编程实现,深化对算法的认识。然后,对数据流的特点及其三种模型进行系统研究,其中滑动窗口模型最符合真实应用,并在静态挖掘算法的基础上加以吸收创新,挖掘算法和分类算法最后,本文设计并实现疭结构的挖掘平台,在这个平台上对以上几种封装后的算法进行测试,实验表明各算法都具有较高的准确性
和时间效率。此外,本文还分别分析了频繁模式和分类挖掘在网络监控中的实际应用问题。关键词:数据挖掘,数据流,频繁模式,分类,滑动窗口数据流频繁模式和分类挖掘算法研究
,.,...陪.·,.琤琒琖疭
:数据流频繁模式和分类挖掘算法研究.,
独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含本人为获得浙江工商大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名:日期:年月数据流频繁模式和分类挖掘算法研究
第一章绪论课题的背景和意义录管理等大量应用领域中产生了一种新型数据一数据流,数据近年在传感器网络、网络监控、罩竟芾怼⒐善辈ǘ佟⑼车慊髁流中蕴含了大量的有用信息,从数据流中挖掘出未知的、有价值的模式或规律对网络安全、企业决策等将产生积极影响。数据流挖掘技术的潜在应用十分广泛,在政府管理决策、商业经营决策和信息安全等很多领域都可以找到数据流挖掘技术的应用。数据流具有连续、快速频繁的变化、大量甚至无限、要求快速响应、一次扫描等特点,尽管传统的数据挖掘已经取得相当多的成果,但是它们是基于静态的、不经常进行更新的数据库,存在一些问题:瓒啻紊瑁薹闶萘魉惴ǖケ樯柙闲枰#式系停荒苡胧萘鞯乃俣韧剑因此,传统的数据挖掘算法不能直接应用于数据流挖掘,必须改造原有的算法或者设计新的数据挖掘算法来适应数据流模型。数据流挖掘成为近几年研究的热点,国外成立了很多研究小组,在分类方面提出了基于鞯目焖倬霾呤餮八惴俊趘∩希岢隽送诰蚴萘鞯木霾呤魉惴–【浚保持当前决策树的同时生成可选子树,必要时用子树替代当前决策树,大大提高了效率,且保证了准确度。等人提出了数据流上的多分类器构造算法【俊相比之下,频繁模式挖掘的研究却比较困难。【浚谏瓒ㄖС侄萂值和错误因子阀值下,给出了求解单个有效项的有效算法。.提出以结果稳定性为依据,适当推迟数据流频繁模式和分类挖掘算法研究加米试垂啵枰4罅磕诖婵占浼癐/O已经取得了很多成果。和.
研究内容及主要成果也提出了利用关联规则来进行分类的方法㈣,更新时机,增量式挖掘最大频繁项目集的算法】。提出的繁模式的方法【引。在对数据流进行研究。王鹏等提出了一种数据流上的基于频繁模式的分类算法一据中的分类信息。张昕等提出一种改进的字典树结构一—【上提出一种新的启发式算法诟履J胶蜕尚履J降墓讨校数据流挖掘算法的研究是一项迫切的任务,早期的增量式数据挖掘算法可以研究数据流模型特点,设计出数据流挖掘中一些关键算法,为数据流的分析提供首先,研究数据流与传统数据的不同特点,对数据流模型的特点及其适用范算法是较旱增量挖掘算法岢隽俗钣写硇缘脑擞靡贫翱诜ê。一些研究者们在国内,这方面的研究刚刚起步,文献资料也比较少,有些学校和研究所正А浚珻ü萘髦械钠捣蹦J浇蟹掷啵谘顾跏莸耐北4媪耸,并在其基础可以快速定位历史模式。复旦的周傲英等提出了一种基于散列的算法和改进后木,算法能在允许项插入、删除的动态数据流环境下维护超过阀值的频繁项集,该方法不需要预知数据的范围,耗费内存量较少。宋国杰等提出了一个启发式分段求解方法盝,将数据流分成不同的段,利用算满足求解精度的段长度,通过逐段的迭代进行频繁模式的评估,最后估算出所有的模式。徐利军等提出惴ɡ闷捣奔牟泶锓绞嚼赐诰蚧谡个数据流的