大数据引发的变革与企业面临的挑战.pptx

1
大数据引发的变革
与企业面临的挑战
陈育杰 Eric Chen
SYSEX精诚集团 Big Data 事业 资深总监
eric_******@ , mobile : **********
2
个人的一些经历
在IT产业第17个年头
从程序员开始第一份工作, 逐渐转移到销售与售前、产品经理、产品与技术管理、事业发展、新事业规划与开发
主要经验都是以软件为基础，含括数据库解决方案、电子商务解决方案、中间件(Middleware)、嵌入式系统(Embedded System)、安全解决方案(Security)、云操作系统(Cloud OS)、大数据一体机(Big Data Appliance)
2006年，开始参与大数据项目计划，引进Hadoop …………..
2009年，开始参与两岸云计算云操作系统项目计划
2010年，开始参与台湾云端运算联盟，为创会会员之一
Big Data 时代来临
Big Data
People
Devices
Sensors
移动互联网
Mobile Internet
物联网
Internet of Things
3
新量级、新处理模式、新企业智能
不同“看”数据的方式
5
可视：结构化资料 15%
未视：半/非结构化数据 85%
DB/DW
主管们看的
战情数位仪表板，其实是残缺的…
10万
GB
10万
TB
需要更高性价比的数据计算与储存方式
6
数据库
数据仓库
计算更快 存储更省
85%
半/非结构化的
Log / Web page / Email / PDF / Image / Full-text / MS-Office file
7
不同的数据管理策略
当我们想要扩充时，
才发觉：
架构只能 scale-up，
scale-out 不易
处理时间过长，
time-to-value 受限
成本过高，
cost-efficiency 受限
15%
结构化的 DB/DW
遗憾
残缺
每天几百 GB、 几 TB 的资料，且持续成长中
储存
Storing
在收数据的同时做必要的前置处理 (pre-processing)
，并区分数据处理的优先等级 (prioritizing)
计算
Processing
如何有效的避免因硬件毁坏所导致的资料损毁
管理
Managing
如何从中挖掘出所关注事件的 pattern 或 behavior
分析
Analyzing
超越企业现有 IT 的数据解决能量
8
9
10
并行模式简单、编成较易
为程序员屏蔽通性、并发、同步与一致性等问题
计算与存储一体，计算向数据靠拢，高效专用存储模式
任务之间无依赖(share-nothing)，具有高系统延展性 (scale-out)
并行计算匡架
分布式档案存储
11
大规模分布式结构化数据存储系统
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统
利用 HDFS作为其文件存储系统 – HDFS为HBase提供了高可靠性的底层存储支持
利用 MapReduce来处理其中的海量数据 – MapReduce为HBase提供了高性能的计算能力