多维流数据的可视分析方法研究.pdf

有
人
及
武 交
汉 （申请工学硕士学位论文）
理 互
工 性
大
学 的
研
究
多维流数据的可视分析方法研究
培养单位：计算机科学与技术学院
学科专业：软件工程
研 究 生：陆 丛
指导老师：高 曙 教授
2017 年 5 月
I
分类号 密 级
UDC 学校代码 10497

学 位 论 文
题 目 多维流数据的可视分析方法研究
英 文 Research on Visual Analysis Method of
题 目 Multi-dimensional Stream Data
研究生姓名 陆 丛
姓名 高曙 职称 教授 学位
指导教师
单位名称 计算机科学与技术学院 邮编 430063
申请学位级别 硕士 学科专业名称 软件工程
论文提交日期 论文答辩日期
学位授予单位 武汉理工大学 学位授予日期
答辩委员会主席 评阅人

2017 年 5 月
II
IV
摘 要
随着物联网技术的飞速发展，多维流数据的采集日益普及，对其进行有效挖
掘并可视化呈现成为必需。相比于传统的静态数据，多维数据具有总量无限、快
速到达、到达次序无约束等特点。这类数据的复杂性更高、结构更难被发现，面
对大规模的多维流数据，如何有效对数据分析和挖掘，发现数据背后隐藏的信息
与知识，一直是困扰学术界的难点。
人类获取信息的方式主要来源于视觉系统，使用可视化的方式，可以使用户
更直观、更高效地洞悉数据背后的内在模式，认识事物更深层次的规律。而由于
“维灾”问题，直接对多维流数据进行数据可视化会造成大量的视觉混乱，不利
于发现多维流数据中的内在结构，所以在进行可视化之前，使用数据挖掘的技术
对流数据预先处理变得十分必要。
本文从数据分析的角度出发，以可视分析为目的，针对流数据多维性以及时
变性特点，分别研究了基于流数据聚类的可视化表征方法和基于流数据降维的可
视分析方法，最后应用研究成果，设计实现多维流数据可视分析原型系统。主要
的工作与成果简述如下：
1）为了更好地分析多维流数据的内在结构，提出了面向可视化表征的数据
聚类方法。分析了 CluStream 算法的不足，引入了衰减时间因子减轻历史数据对
聚类结果的影响，针对当流数据维度较高且数据量快速增大时，流聚类算法效率
大幅度下降的问题，提出了改进的算法 DP-CluStream，并在 Spark Streaming 流
处理器上进行并行化设计，最后通过 KDD-CUP99 网络入侵流数据集和 USD