大数据云平台数据治理规划方案课件.pptx

大数据云平台数据治理规划方案
目录
XXX大数据云平台数据治理综述
1
XXX大数据云平台数据治理总体架构
2
XXX大数据云平台数据治理演进路线
3
XXX大数据云平台数据治理一期实
BI 分析工具
供应链XXX系统
POP系统
其他业务系统
云数据推送平台已实现了主要零售及XXX业务系统数据清洗、整合，为未来XXX大数据数据平台提供了丰富的数据源。
通过数据平台和BI应用建设，XXX大数据将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力
采购管理系统
查看职能部门的业务经营情况
大数据云平台数据治理建设预期收益

实现分散在供应链XXX、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础

XXX大数据业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为XXX业务创新（客户服务创新、产品创新等）创造了有利条件

通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率

从中长期看，数据仓库对XXX大数据分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性
通过数据平台实现数据集中，确保XXX大数据各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值

目录
大数据云平台数据治理综述
1
大数据云平台数据治理总体架构
2
大数据云平台数据治理演进路线
3
大数据云平台数据治理一期实施重点
4
XXX大数据质量管理平台
5
XXX大数据应用案例分析
6
大数据云平台数据治理总体架构
历史数
据查询
数据交换平台
应用集市数据区
集团零售
供应链XXX
人人贷系统
基金系统
……系统
企业内外部半结构化、非结构化数据
大数据交换组件
数据库数据交换组件
数据区数据交换组件
数据计算层
大数据区
沙盘演练数据区
数据应用层
实时数据区
客户主题
协议主题
产品主题
业务沙盘演练
数据增
值产品
零售数据
供应链数据
增值产
品数据区
主题数据区
… …
用户访问层
客户汇总
账户汇总
机构汇总
… …
社交媒体
移动互联
用户评价
访问日志
处理后大数据
待处理大数据
流程调度
监控告警
数据标准
数据质量
元数据
数据安全
流程调度平台
……
数据管控平台
流程调度层
数据管控层
数据
产生层
数据交换层
实时数
据查询
客户管理
财务管理
……
外部用户
贴源数据区
……
内部管理分析
内部用户
历史归档数据区
IT人员
风险管理
大数据云平台数据治理总体架构——数据产生层
内部业务系统产生的结构化数据
集团日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水……
XXX大数据日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、XXX产品信息、交易流水……
企业内部非结构化数据
日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……
企业外部数据
企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……
源数据内容
在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据
集团和XXX大数据业务系统的数据
增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现
对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量
初始数据加载均采用全量模式
源数据增量
大数据云平台数据治理总体架构——数据