数据治理与大数据平台设计.pptx

数据治理
大数据平台设计
•
•
•
•
•
•
议程
数据治理的背景和现状
数据治理策略
元数据管理
主数据管理
数据质量管理
大数据平台设计
1
5
6
数据的参考框架
解决数据模糊性
可视化数据流动
影响和血缘分析
推进标准化建设
规范化数据审计
1.
2.
3.
4.
5.
6.
经验分享
标准先行
全局治理
尽快见效
高层支持
业务参与
奖惩机制
数据定义标准化
数量
月销售量
月
销售
量
＋
＋
标准单词对象
词素
词素
词素
词素分析
原属性名 标准化对象
标准域
数量
类型： 数字型
长度： 19,0
分类词
＋
标准用语
月度销售数量
类型： 数字型
长度： 19,0
修饰词
标准单词
月度
标准单词
销售
标准单词
数量
标准单词
月度
销售
数量
分类词 域
标准
体系
数据定义标准体系
标准单词
标准域
标准用语
数据模型标准化
结构
实体、属性、关系、主键,范式化等
命名规则、用语词典、标准域等
管理
数据管理政策、方针等
配置管理、版本管理等
质量
准确性 、完整性、实时性、一致性
应用
查询结果的准确性、使用便利性、查询结果的迅速性
模型设计
标准
实施路线
模型优化
模型诊断
设计规范
设计指南
按照模型设计规范和指南统一设计企业内部数据模型
元数据管理系统
可使用
可管理
可控制
模型
要素
关系
定义
规则
应用系统
注
册
元
数
据
库
脚
本
同
步
指
导
数
据
库
设
计
审核、评估、发布
提交
反馈
元
数
据
服
务
标准
规范
标准化体系（数据定义&模型设计）
制定
完善
引用
•
•
•
•
•
•
•
元数据管理工具的选择
元模型易于扩展
界面友好
安全和系统管理
配置管理
发布、查询、报表功能
平台开放
提前试用
•
•
•
•
•
•
议程
数据治理的背景和现状
数据治理策略
元数据管理
主数据管理
数据质量管理
大数据平台设计
什么是主数据
• 企业主数据分散存储在企业各系统内,对
企业至关重要的核心业务实体的数据,比
如客户、合作伙伴、员工等
– 关键
– 分散
– 缓慢
– 共享
主数据类型
当事人
事物
地域
财务和组织
主数据与参考数据
• 参考数据可以是主数据,但不一定是主数
据
为什么要作主数据管理
数据冗余
难亍应变
阻碍业务
数据冲突
Why
如何做好主数据管理
经常遇到的问题
如何做好主数据管理
识别并管理主数据相关方
整理并分析主数据的生命周期
识别主数据含义、上下文、类型
主数据实施流程
运行
维护
项目
实施
主数据
识别
数据
梳理
项目实施要点
•选择工具
•定制开发
•制定标准规范
•确定组织架构
申请
维护
主数据管理系统
注册 准入
审批
访
问
服
务
查
询
安
全
管
理
匹配查重
CRM
数据校验
人事
管
理
流
程
组
织
机
构
统一数据共享
标准规范
强化决策支持
主数据 管理体系
提升数据质量
数
据
导
入
ERP
数
据
分
发
……
版本管理
财务
通知
废弃
•
•
•
•
•
•
议程
数据治理的背景和现状
数据治理策略
元数据管理
主数据管理
数据质量管理
大数据平台设计
数据质量问题
数据质量
1、数据的值域
3、数据的完整性
5、业务规则
7、数据转换
2、数据的定义
4、数据的有效性
6、结构完整性
8、数据流
业务部门
统计部门（业
务部门）负责
业务规则的制
定,在业务层
面统管数据质
量和安全