大数据概念-超星数字图书馆.ppt

SOFTWARE
BARTMER MASSEELY
SAN
3凯L
a HUNDREDS
写
E SIZE NEEDED
喜 SHARED TIME
PETABMIES ET
INTERNE
INCLUDE SYSTEMS
SEARCH INFORMATION
DATA
HNOLOGIES
RECORDS
SOCIAL LARGE E mme
COMPLEX DATABASES
STORAGE
EERY以
TAsET ABILITY SETS BAMPLES ser
大数据分析技术
x数据特点与应用
陈辉
MEXSAN\S
2016年3月
1、大数据时代一研究背景与意义
大数据时代背景
大数据定义及特点
大数据的影响
大数据研究的意义
5
科学发现第四范式

大数据典型应用案例
1、大数据概念、背景与意义
11、大数据时代背景
1TB= 103GB
1PB=10°TB
◆工业革命以后,以文字为载体的信息量大约每十1EB=109GB
年翻一番,1970年以后,信息量大约每三年翻1ZB=101GB
番;如今,全球信息总量每两年就可以翻一番
◆2011年全球被创建和复制的数据总量为18zB(1ZB=103EB
106PB),其中75%来自于个人
IDC认为,到2020年,全球所有∏部门拥有服务器的总量将会比
现在多出10倍,所管理的数据将会比现在多出50倍
根据麦肯锡全球研究院预测,到2020年,全球数据使用量预计将
暴增44倍,达到35ZB。
1、大数据概念、背景与意义
11、大数据时代背景
◆医疗卫生、地理信息、电子商务、影视娱乐、科学研究等行业
每天都在创造着大量的数据
数据采集成本的下降推动了数据量的剧增
新的数据源和数据采集技术的出现大大增加了数据的类型,数据
类型的增加导致数据空间维度增加,极大地增加了大数据的复杂
度
1、大数据概念、背景与意义
11、大数据时代背景
◆ Google:通过大规模集群和 MapReduce软件,每个月处理的数
据量超过400PB。
百度:拥有数百PB的数据量,每天大约要处理几十PB数据
Facebook:注册用户超过810亿,每月上传照片超过10亿张,每
天生成300TB以上的日志数据
◆淘宝网:,在线商品超过88亿,每天交易数千万笔,
产生约20TB数据
1、大数据概念、背景与意义
11、大数据时代背景
◆ Yahoo: Hadoop云计算平台有34个集群,超过3万台机器,总存
储容量超过100PB。
大型强子对撞机每年积累的新数据量为15PB左右
世界商业巨头沃尔玛Wa|Ma在全球有6000多个分店,它们
每小时产生一百万条顾客购买事务记录,这些数据的规模大约为
25PB,相当于美国国会图书馆数据量的167倍。
1、大数据概念、背景与意义
11、大数据时代背景
数据规模从TB级别上升到PB甚至ZB级别
人类社会已经进入了大数据时代
1、大数据概念、背景与意义
12、大数据定义及特点
(1)定义:
◆大数据( big data),或称巨量资料,指指的是需要新处理模式才能
具有更强的决策力、洞察发现力和流程优化能力的海量、高增长
率和多样化的信息资产。【百度百科】
◆大数据( big data),或称巨量数据、海量数据、大资料,指的是
所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截
取、管理、处理、并整理成为人类所能解读的信息。【维基百科
1、大数据概念、背景与意义
12、大数据定义及特点
2)特点(4个V)
Volume(体量浩大)
Variety(模态繁多)
Velocity(生成快速)
aue(价值巨大但密度很低)
1、大数据概念、背景与意义
13、大数据的影响
大数据隐含着巨大的社会、经济、科研价值,已经引起了各行
各业的高度重视。
著名的ORey公司断言:“数据是下一个‘ Intel Inside’,未
来属于将数据转换成产品的公司和人们。