流数据挖掘关键技术的研究.pdf

站字垂笱博士研究生学位论文题目:流数据挖掘关键技术研究保密期限:堂年月日密级:县.’,●
厂
:.■‘
卜\
:鱼盔日期:鲨谩辏』独创性虼葱滦声明关于论文使用授权的说明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除了文中特别加以标注和致谢中所罗列的内容以外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处,本人承担一切相关责任。,即:研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许学位论文被查阅和借阅;学校可以公布学位论文的全部或部分内容,可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。C艿难宦畚脑诮饷芎笞袷卮斯娑保密论文注释:本学位论文属于保密在年解密后适用本授权书。导师签名:日期:
摘要流数据挖掘关键技术研究流数据挖掘是对到达的数据流按照一定的序列进行挖掘,它和静态数据关联规则的挖掘的不同在于流数据具有高速、连续和无边界等特性。流数据具有的独特特性给数据挖掘和分析带来一系列问题,比如如何快速高效的识别挖掘周期内的有效模式,模式以何种方式呈现能使使用者容易理解,高速数据挖掘中采用何种数据结构能有效的对数据模式进行维护、保存和删除,如何选择合适的挖掘周期,对于连续的流数据采用何种方式进行噪音论文在对以上问题研究的基础上,进一步对流数据指标的聚合在网络中的应用进行了研究,多个指标如何反映到一个指标从而有利于业务管理者对业务进行有效的监控和管理。同时,通过对流数据指标的动态学习,深度挖掘流数据的特性,使得业务提供者可以在更高层次上评估用户使用业务的体验。论文的主要工作和创新点简要归纳如下:针对如何高效快速的识别挖掘周期内的有效模式,论文提出了一种大规模网络中流数据事件关联分析的算法知结构大规模网络中的异常事件,并且可以使得用户选择置信度门限值以达到仅仅提取有效模式的目的。同时提出了一种可视化模式压缩算法了流数据挖掘中模式以何种方式呈现能使用户容易理解的问题。实验结果显示算法可以发现重要事件之间的关联关系,而惴ń徊窖顾跏录沟檬褂谜呖梢院容易从数以千计的关联事件中发现有用的模式。针对高速数据挖掘中采用何种数据结构能有效的对数据模式进行维护、保存和删除问题,论文提出了一种在智能建筑中对于传感网络中的流数据进行增量知识挖掘的算法,算法采用树状结构来提高挖掘效率,通过滑动窗口时间参数来控制树状结构的变化速度。另外,通过启发式规则提高关联规则的提取效率。通过同传统的惴ń卸员龋诟呶榭鱿拢琁惴ㄊ瞧渌街炙惴ㄐ实数据挖掘时机的确定是目前流数据关联规则挖掘算法的研究热点之一,就是在什么条件下需要重新运行挖掘算法提取关联规则,并且在有限的系统资源下尽可能提高挖掘效率和减少挖掘成本。论文提出了一种在流数据挖掘算法中关联规则提取时机的确定算法琄欢栽际菁幸淮紊瑁诤笮芷扫描中利用前次扫描的保存结果进行增量更新即可,在相邻两次原始数据集上取得支撑度处理等。ü鼸梢苑⑾治饩和倍以上。北京邮电大学博士学位论文.
附近的频繁项集参与两次数据集的变化差异程度的估计计算,从而确定是否需要运行挖掘算法进行数据模式的提取。为了对流数据特性进行有效监控,即如何可视化流数据指标之间的内在本质联系,论文对流数据的可视化数据挖掘进行了研究,即如何用可视化的方式来动态展示流数据之间的内在关系,在这个基础上提出了一种流数据增量式多维可扩展可视化挖掘算法。通过数据表现的特征形状进行聚类,并且聚类结果会随着时间的推移用动态可视化的方式实时展现。通过仿真实验表明,算法相比传统的甦算法和简易型呕惴ㄔ诹魇据挖掘中可以明显地提高可视化挖掘效率和可视化效果。针对流数据指标的聚合在网络中的应用,论文对网络底层数据流如何映射到业务层进行了研究,通过研究发现,如果能对底层数据流进行实时的聚合和分析,就能使得业务提供者实时观察当前网络和系统的健康状况,进一步能觉察到用户对当前业务的体验状况。论文参考规范的基础上,提出了算法,使得不同量纲的流数据指标可以平滑聚合到同一指标。但是在以上的聚合中存在如何分配流数据指标权重关系的问题,对此论文进一步提出了一种针对数据特性的模式提取算法1舅惴ㄖ饕3槿出网络数据流中关键性能指标和关键质量指标,根据用户的体验进行机器学习发现模式,利用将多维数据转化成多维空间的映射点,有效的避免了求多个指标之间关联度的问题,制定出一种实际运行中可以自动归纳总结满足业务呗缘氖荻攘糠椒ǎ⑶依可视化数据展示的方式