大数据方案ppt课件.pptx

大数据方案
大数据方案
第1页
大数据(Big Data)时代降临
大数据
Apps
Devices
Sensors
移动互联网
物联网
2
新量级、新处理模式、新行业智能
People
传
关系数据
文本数据
大数据方案
第9页
大数据储存与处理/运算
大数据储存
大数据处理
数据分享
数据检索
数据分析
数据展现
分布式软件架构
并行计算框架
分布式存放
横向扩容(Scale-out) 架构
大数据方案
第10页
NameNode
DataNode
Switch
( 1Gb above)
藉由 DataNode 轻易扩充能力
可轻易满足数据量成长需求
最小 package
1 台 NameNode
+
3台 DataNodes
大数据部属
DataNode
DataNode
大数据方案
第11页
大数据建设策略
数据仓库
ERP
CRM
LOB
APPs
非结构化数据源
S S RS
SSAS
业务支撑
终端用户基础工具
业务展示
数据产品
传统BI
预测分析
结构化数据源
大数据处理
大数据方案
第12页
国家意志
2019/7/2
年8月19日，国务院总理李克强主持召开国务院常务会议，讨论经过了《关于促进大数据发展行动纲要》。
大数据被喻为“金矿”、“石油”，大数据价值被业界公认为无价，然而怎么用大数据，怎么发挥大数据价值，业界众口纷纭，到现在为止也没见到大数据终究产生了多大价值。
大数据无法发挥其巨大价值，有技术、应用、机制、法律法规等多方面原因。
大数据发展知易行难，知道其有巨大价值，但不清楚详细可行发展路径，也面临很多不知道怎样处理问题。
大数据方案
第13页
地 级以上人力资源社会保障部门普遍建立了数据中心
多数地域实现了业务数据在市级集中统一管理
部、省、市三级网络深入贯通
全国统一关键业务应用软件已在绝大个别统筹地域布署实施
总体上看
信息化建设结果在人力资源和社会保障工作中发 挥了基础支撑作用，创新管理模式、降低行政成本、提升服务能力等方面发挥了主要作用，推进了人力资源和社会保障工作向精细化、一体化、 科学化、规范化转变。
人力资源社会保障信息化取得成就
大数据方案
第14页
社保大数据带来大挑战
2019/7/2
海量数据怎样存放
数据导入导出时间成本
业务数据读取要依靠业务系统
查询性能低
非结构难存放、难分析
维护成本高昂
无标准化规范
大数据方案
第15页
旧架构不能承受之重
2019/7/2
大数据方案
第16页
社保总体规划
2019/7/2
大数据方案
第17页
大数据架构
访问层
应用门户
数据门户
管理门户
数据应用层
数据资产层
数据聚合层
基础环境层
应用门户
查询工具/统计工具/分析工具/挖掘工具/辅助决议工具
对外数据支撑
Service/File/Sdk/…
公共组件
数据服务
应用层业务数据
规则引擎
统计引擎
查询引擎
分析引擎
挖掘引擎
数据服务总线
数据封装
Oracle数据库
数据资产
Oracle数据库
MPP数据库
数据处理
数据采集
文件处理
实时流数据采集
关系型数据库采集（SQOOP）
传统数据处理
流数据处理
大数据
M/R
HDFS
HBase
终端虚拟化
服务器虚拟化
分布式架构
大数据方案
第18页
社保数据“云化”
2019/7/2
人口数据
养老数据
医疗数据
就业数据
生育保险
其它数据
统一分析
统一规划
数据BI
数据挖掘
云技术是伎俩，管数据是目标
大数据方案
第19页
大数据利用
2019/7/2
基础
数据共享，数据交换，业务联动
进阶
查询，统计，分析
高阶
数据挖掘,决议支持
大数据方案
第20页
查询实例
2019/7/2
现实状况：系统经过一段使用后，效率低，不能满足业务发展
当前对策：午夜跑任务
思索：越来越多怎样搞？
对策：数据剥离。统计、查询、报表从业务部门剥离。
形成统一数据统计、统计、报表平台。
人口
数据
养老
数据
医疗
数据
就业
数据
生育
保险
其它
数据
统一分析
统一规划
数据BI
数据挖掘
查询、统计、报表
大数据方案
第21页
ESB
2019/7/2
数据标准