大数据-全面与分析大数据.doc

.页眉. .页脚. 大数据概念" 大数据" 是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。" 大数据" 首先是指数据体量(volumes)? 大, 指代大型数据集, 一般在 10TB? 规模左右, 但在实际应用中, 很多企业用户把多个数据集放在一起,已经形成了 PB 级的数据量;其次是指数据类别(variety) 大, 数据来自多种数据源, 数据种类和格式日渐丰富, 已冲破了以前所限定的结构化数据范畴,囊括了半结构化和非结构化数据。接着是数据处理速度( Velocity )快, 在数据量非常庞大的情况下, 也能够做到数据的实时处理。最后一个特点是指数据真实性( Veracity )高, 随着社交数据、企业内容、交易与应用数据等新数据源的兴趣,传统数据源的局限被打破,企业愈发需要有效的信息之力以确保其真实性及安全性。大数据分析从所周知,大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。那么越来越多的应用涉及到大数据,而这些大数据的属性,包括数量,速度,多样性等等都是呈现了大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要,可以说是决定最终信息是否有价值的决定性因素。基于如此的认识,大数据分析普遍存在的方法理论有哪些呢? 大数据分析的五大基本方面 1. Analytic Visualizations (可视化分析) 不管是对数据分析专家还是普通用户, 数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。大数据分析的使用者有大数据分析专家, 同时还有普通用户, 但是他们二者对于大数据分析最基本的要求就是可视化分析, 因为可视化分析能够直观的呈现大数据特点, 同时能够非常容易被读者所接受,就如同看图说话一样简单明了。 2. Data Mining Algorithms (数据挖掘算法) 可视化是给人看的, 数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部, 挖掘价值。这些算法不仅要处理大数据的量, 也要处理大数据的速度。大数据分析的理论核心就是数据挖掘算法, 各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点, 也正是因为这些被全世界统计学家所公认的各种统计方法( 可以称之为真理) 才能深入数据内部, 挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据, 如果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。.页眉. .页脚. 3. Predictive Analytic Capabilities (预测性分析能力) 数据挖掘可以让分析员更好的理解数据, 而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。大数据分析最终要的应用领域之一就是预测性分析, 从大数据中挖掘出特点, 通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。 4. Semantic Engines (语义引擎) 我们知道由于非结构化数据的多样性带来了数据分析的新的挑战, 我们需要一系列的工具去解析,提取,分析数据。语义引擎需要被设计成能够从“文