“大数据”的认识与思考.doc

“大数据”的认识与思考
刘姝祎
目录
1“大数据”的时代背景 4
“大数据”的概念 4
“大数据”产生的背景 4
“大数据”的特征 5
“大数据”的发展阶段 5
“大数据”带来的机遇 6
2“大数据”的关键技术 9
“大数据”的采集和预处理 9
“大数据”存储技术 10
“大数据”分析技术 10
“大数据”与云计算 11
3大数据产业的应用 12
12
“大数据”在典型领域中的应用 13
:立体的大数据生态系统 14
14
15
16
4问题与挑战 18
18
18
18
18
19
19
19
5对大数据产业发展的建议 20
20
21
22
1“大数据”的时代背景
“大数据”的概念
纽约时报在2012年宣布“大数据时代”已经降临,“大数据”成为了时下最火热的词汇。顾名思义,大数据是“无法任意时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的数据集合”。Gartner认为大数据是“需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。“大数据”的要义是尽可能地收集众多可以相互叠加补充的信息,据以完成对“未来”的预测。这些数据可能有些混乱,甚至会出现纰漏,但数据量的“多“和时间的“即刻”可以弥补数据质量的瑕疵,“大数据”将以最快的速度“预测”出最“可靠”的答案,指引人们迅速采取行动。
“大数据”产生的背景
大数据的应用和技术是在互联网快速发展中诞生的,起点可追溯到 2000 年前后。当时互联网网页爆发式增长,每天新增约 700 万个网页,到 2000 年底全球网页数达到 40 亿,用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库,开始提供较为精确的搜索服务,大大提升了人们使用互联网的效率,这是大数据应用的起点。当时搜索引擎要存储和处理的数据,不仅数量之大前所未有,而且以非结构化数据为主,传统技术无法应对。为此,谷歌提出了一套以分布式为特征的全新技术体系,即后来陆续公开的分布式文件系统(GFS, Google File System)、分布式并行计算(MapReduce)和分布式数据库(BigTable)等技术,以较低的成本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础,可以认为是大数据技术的源头。
伴随着互联网产业的崛起,这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用,取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值,于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术,取得初步成效。与此同时,业界也在不断对谷歌提出的技术体系进行扩展,使之能在更多的场景下使用。2011 年,麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结,随即在全世界兴起了一股大数据热潮。
2012年3月,美国政府发布《大数据研究和发展计划》,同时组建大数据高级指导小组,以协调政府在数据领域的两亿多美元投资。根据这一计划,美国希望利用大数据技术再多个领域实现突破,包括科研教学、环境保护、国土安全等,此举标志着,美国把应对大数据技术革命带来的机遇和挑战,提高到国家战略层面,形成了全体动员格局。随后,
英国、法国、日本等各国都相继将大数据计划作为国家战略型计划提上日程。值得一提的是,由中国各级政府主导的大数据计划也已经全面展开,“大数据”已成为推动我国经济和科技发展的重要力量。
“大数据”的特征
“大数据”具有4V的特点:一是数据容量巨大(Volume)。国际数据公司(IDC)的研究报告称,(2的70次方),并预测到2020年,全球将拥有35ZB的数据量。二是数据类型众多
(Variety)。相对于过往以文本形式为主的结构化数据,大数据时代的数据类型涵盖了图片、音频、视频、网络日志和地理位置信息等种类繁多的半结构化和非结构化数据。三是数据价值密度低(Value)。举例而言,在一个连续监控三个小时的视频中,能够提供有效信息帮助刑侦人员破案的画面可能只有三五秒。四是处理数据的速度要求非常快(Velocity)。一方面,面对如此巨大的数据量,处理效率至关重要,另一方面,