大数据引发的变革与企业面临的挑战.pptx

1
大数据引发的变革
与企业面临的挑战
陈育杰 Eric Chen
SYSEX精诚集团 Big Data 事业 资深总监
eric_******@ , mobile : **********
2
1
大数据引发的变革
与企业面临的挑战
陈育杰 Eric Chen
SYSEX精诚集团 Big Data 事业 资深总监
eric_******@ , mobile : **********
2
个人的一些经历
在IT产业第17个年头
从程序员开始第一份工作, 逐渐转移到销售与售前、产品经理、产品与技术管理、事业发展、新事业规划与开发
主要经验都是以软件为基础，含括数据库解决方案、电子商务解决方案、中间件(Middleware)、嵌入式系统(Embedded System)、安全解决方案(Security)、云操作系统(Cloud OS)、大数据一体机(Big Data Appliance)
2006年，开始参与大数据项目计划，引进Hadoop …………..
2009年，开始参与两岸云计算云操作系统项目计划
2010年，开始参与台湾云端运算联盟，为创会会员之一
Big Data 时代来临
Big Data
People
Devices
Sensors
移动互联网
Mobile Internet
物联网
Internet of Things
3
新量级、新处理模式、新企业智能
Big Data 带来的挑战
不同“看”数据的方式
需要更高性价比的数据计算与储存方式
不同的数据管理策略
超越企业现有 IT 的数据解决能量
4
不同“看”数据的方式
5
可视：结构化资料 15%
未视：半/非结构化数据 85%
DB/DW
主管们看的
战情数位仪表板，其实是残缺的…
10万
GB
10万
TB
需要更高性价比的数据计算与储存方式
6
数据库
数据仓库
计算更快 存储更省
9
10
并行模式简单、编成较易
为程序员屏蔽通性、并发、同步与一致性等问题
计算与存储一体，计算向数据靠拢，高效专用存储模式
任务之间无依赖(share-nothing)，具有高系统延展性 (scale-out)
并行计算匡架
分布式档案存储
11
大规模分布式结构化数据存储系统
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统
利用 HDFS作为其文件存储系统 – HDFS为HBase提供了高可靠性的底层存储支持
利用 MapReduce来处理其中的海量数据 – MapReduce为HBase提供了高性能的计算能力
12
企业如何运用Hadoop
13
企业运用数据的流程
r
14
Distributed
Search
r
15
Distributed
Search
企业并不像互联网公司，
如何掌握这么多技术 ?
企业采用 Hadoop 架构的挑战
16
企业对 Hadoop 架构普遍陌生，
尚未建立 MapReduce 程序设计能力
对资料分析师、商业使用者不够直觉，难亲近
Hadoop 丛集规划、布署、管理与系统调校的技术门坎高。
商业顾问
专业服务
技术供给
?
缺乏在地、专业、有实务经验的 Hadoop 顾问服务厂商
先期咨询、需求分析、项目验证、与教育训练等服务来源欠缺。
缺乏能够提供完整 Big Data 解决方案设计、导入、与维护的专业厂商。
缺乏商业案例研讨
企业不知如何挖掘Big Data价值
缺乏成熟的导引步骤来降低企业导入风险 提高成功机率
精诚集团 Big Data 事业
17
商业顾问
专业服务
解决方案
面向企业Big Data需求的一站式服务