大数据引发的变革与企业面临的挑战.ppt

大数据引发的变革与企业面临的挑战
每天几百 GB、 几 TB 的资料，且持续成长中
储存
Storing
在收数据的同时做必要的前置处理 (pre-processing)
，并区分数据处理的优先等级 (priori大数据引发的变革与企业面临的挑战
每天几百 GB、 几 TB 的资料，且持续成长中
储存
Storing
在收数据的同时做必要的前置处理 (pre-processing)
，并区分数据处理的优先等级 (prioritizing)
计算
Processing
如何有效的避免因硬件毁坏所导致的资料损毁
管理
Managing
如何从中挖掘出所关注事件的 pattern 或 behavior
分析
Analyzing
超越企业现有 IT 的数据解决能量
*
9
并行模式简单、编成较易
为程序员屏蔽通性、并发、同步与一致性等问题
计算与存储一体，计算向数据靠拢，高效专用存储模式
任务之间无依赖(share-nothing)，具有高系统延展性 (scale-out)
并行计算匡架
分布式档案存储
10
大规模分布式结构化数据存储系统
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统
利用 HDFS作为其文件存储系统 – HDFS为HBase提供了高可靠性的底层存储支持
利用 MapReduce来处理其中的海量数据 – MapReduce为HBase提供了高性能的计算能力
11
企业如何运用Hadoop
12
企业运用数据的流程
13
r
*
Distributed
Search
r
*
Distributed
Search
企业并不像互联网公司，
如何掌握这么多技术 ?
企业采用 Hadoop 架构的挑战
*
企业对 Hadoop 架构普遍陌生，
尚未建立 MapReduce 程序设计能力
对资料分析师、商业使用者不够直觉，难亲近
Hadoop 丛集规划、布署、管理与系统调校的技术门坎高。
商业顾问
专业服务
技术供给
?
缺乏在地、专业、有实务经验的 Hadoop 顾问服务厂商
先期咨询、需求分析、项目验证、与教育训练等服务来源欠缺。
缺乏能够提供完整 Big Data 解决方案设计、导入、与维护的专业厂商。
缺乏商业案例研讨
企业不知如何挖掘Big Data价值
缺乏成熟的导引步骤来降低企业导入风险 提高成功机率
感谢您的关注