异构分布式数据流分类方法研究.pdf

■●■—篒¨¨北京工业大学硕士学位论文英文并列型蹾趔』丛蝁鞨臛◆题目垂圄莶塾援导师姓名:职称:分类号:单位代码:褹专学号:密级:公开学位授予日期:塞王些盔堂勘χ臂涯ü曼蛭缉鱼潜论文报告提交日期:年授予单位名称和地址:.
跋酢駆ⅰ
毖签名:盐必独创性声明日期:么细:堑丝关于论文使用授权的说明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人完全了解北京工业大学有关保留、使用学位论文的规定,即:学校有权保留送交论文的复印件,允许论文被查阅和借阅;学校可以公布论文的全部或部分内容,可以采用影印、缩印或其他复制手段保存论文。C艿穆畚脑诮饷芎笥ψ袷卮斯娑导师签名:签名:
。、
摘要异构分布式数据流侵赶嗷チO档多个数据流,其数据来自地理上分布的数据源,且各数据源观测不同的属性集。目前,异构分布式数据流的应用越来越广泛绱ǜ衅魍纾炭刂频。从异构分布式数据流中提取知识的能力已变得相当重要。从异构的分布式数据流中进行知识挖掘是一个重要的研究课题,面临着许多挑战性的问题。首先,把多个节点的数据流传送到中心节点进行数据挖掘可以是一种解决问题的方法,目前的研究尝试这样的思路,从研究角度上对于更加深入地了解分布式数据流的挖掘特点是有意义的。其次,从技术上这种集中式的数据传输是不可行的,数据流的集中式挖掘缺点是显而易见的:由于数据传输量大可能导致通讯问题、由于中心节点的处理数据量大可能导致计算瓶颈等。本文针对这些问题,提出了两种方法分类异构分布式数据流,即基于的掷喾椒ê突赟腣分类方法,前者通过技术来识别“即局部难分类数据植拷诘悴⑿醒啊⒏新模式、传输数据索引到中心节点;中心节点根据数据索引,收集数据,更新中心模式。数据相对较少,因此该算法能有效分散计算量,降低通讯负载。实验结果表明:我们的算法降低了通信量,整体上具有很高的分类精度。后者采用一种分布式的挖掘架构和分块的方式处理数据流,针对局部站点的每块数据,在中心站点上建立相应的全局分类器。在分类器的训练过程中,各局部站点负责执行属性表分裂,计算各自的局部最佳分裂方案,并将其送往中心站点。中心站点根据局部最佳分裂方案确定当前节点的最终分裂方案,生成相应的决策树节点,并将最终的分裂方案传给局部站点。局部站点与中心站点之间只传输少量用于决策的信息,不需要传输原始数据,从而有效降低了通信负载。关键词数据挖掘;数据流;分布式数据流;异构分布式数据流
北京工业大学工学硕士学位论文
;;,;:.,.瑂瑃—.,瓺;.;””.....—,,琲琱..
北京工业大学工学硕士学位论文
录目算法过程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第滦髀邸数据挖掘技术简介⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一研究背景⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯研究内容⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯论文的结构安排⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..第路植际绞萘魍诰颉分布式数据流定义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一分布式数据流挖掘面临的挑战⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..分布式数据流处理框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯分布式数据挖掘系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第禄贐腣分类方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一问题描述及相关定义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯掷嗨惴ǹ蚣堋技术介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.算法设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一算法分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.实验及讨论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.第禄赟腣分类方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.算法简介⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯实验分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯结论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..论文的主要工作⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯