大数据可视分析的若干关键技术研究.docx

大数据可视分析的若干关键技术研究摘要:云计算、物联网和互联网的快速发展,使得数据量以极快的速度增长,大数据成为研究热点。大数据的价值产生于分析过程,可视分析是大数据分析的重要方法。可视化的需求越来越大,依靠可视化进行数据分析将会成为业内的标准。本文剖析大数据特点,研究了文本可视分析、网络可视分析、时空数据可视分析和多维数据可视分析等关键技术。关键词:大数据 可视分析 可视化 大数据分析中图分类号:TP311 文献标识码:A 文章编号:1007-9416(2015)11-0000-00 随着互联网、物联网和高性能计算技术的蓬勃发展,产生数据呈爆炸式增长,大数据时代已经到来。大数据的数量和复杂度带来了对数据探索、分析、理解和呈现的巨大挑战。可视分析是大数据分析的重要方法,它作为科学与信息可视化的自然延伸,将数据挖掘、计算机图形学与人机交互相结合。在大数据分析技术中,显示了非常突出的优势,非常有效地填补了计算机在自动化挖掘与分析方法中的缺点与不足。 1 大数据的定义与特征大数据是指所涉及的数据规模巨大到无法通过目前主流的软件工具在合理时间内撷取、管理、处理、挖掘这些数据,并整理成为企业经营决策有用的信息。大数据的 4V 特征,得到了业界的广泛认可。第一,数量(Volume),即数据巨大,从 TB 级别跃升到 PB 级别;第二,多样性(Variety),即数据类型繁多,不仅包括传统的格式化数据,还包含来自互联网的大量视频、图片、位置和日志等;第三,速度(Velocity),即处理速度快;第四,价值性(Veracity),即追求高质量的数据。大数据具有 4V特征, 给人们带来了新的机遇与挑战。 2 大数据可视分析的概念大数据可视分析是一个跨学科领域,在大数据自动分析挖掘方法的同时,利用可视化界面和人机交互技术来辅助用户对大规模复杂数据集进行分析推理。非常有效的结合计算机的计算能力和人的认知能力,获得大规模复杂数据的理解。目前所面临的最大挑战是数据爆炸,即所谓的大数据。大数据可视分析是建立在数据基础上的,要想从海量数据中获取有用的知识,还必须借助于近年取得进步的机器学习和数据挖掘的方法以及自然语言处理技术。同时,用户界面对于大数据可视分析技术的成功应用起着关键作用。 3 大数据可视分析的意义如何分析体量巨大、类型繁多、价值密度低、处理速度迅速的数据呢?最好需要具有像眼睛一样直接和反应灵敏的可视化条件。大数据可视分析技术的主要特点是:交互性、多维性和可视性。大数据可视分析不一定是必需的,但是可极大地提高效率,有些领域的可视化是必不可少的。这些成功的可视化方法都非常简单易懂。可视分析是一种非常重要的大数据分析方法,能非常有效地填补计算机自动挖掘与分析方法存在的缺点与不足。 4 大数据可视分析的关键技术大数据可视分析技术涉及传统的科学可视分析和信息可视分析。大数据可视分析的关键技术包括:文本可视分析、网络可视分析、时空数据可视分析和多维数据可视分析。(1)文本可视分析。大数据时代,文本信息海量化、多样化和即时化。文本数据是互联网和物联网产生的主要数据类型,也是非结构化数据类型的典型代表。工作和生活中大多数的电子文档也都是以文本形式存在的。文本可视分析技术涉及文本数据挖掘,计算机图形图像以及人机交互等方面的知识和技术,是一个跨学科的领域。可帮助用户以可视分析的手段交互地