浅谈数据治理在数据质量管理中的作用.doc

浅谈数据治理在数据质量管理中的作用.doc1 浅谈数据治理在数据质量管理中的作用[摘要] 当今社会, 很多大型公司和机构拥有大量但分散在所有运营系统中的客户、产品和供应商相关的信息。没有合适的监督, 数据的质量将不断下降。数据质量管理是一门学科, 包含度量、改进和验证组织数据质量和完整性的方法。数据质量包括数据标准化、匹配、寿命和持续的质量监控。数据治理组织需要建立策略来识别高价值数据属性, 建立机制来不断提高数据质量。[ 关键词] 大数据;数据质量管理;数据治理 doi : .1673 - . [ 中图分类号] ; [ 文献标识码]A[ 文章编号]1673-0194 ( 2016 ) 18-0-01 1 建立数据质量策略各个应用系统、业务部门都拥有对其运作至关重要的数据,因此,了解数据是非常重要的。建立数据质量策略与数据治理流程中“了解数据”的步骤紧密连接。首先, 在数据治理组织识别了业务驱动的数据治理关键绩效指标后, 就很容易确定具有最高价值的数据属性。其次, 数据治理组织还需要制定可接受的数据质量水平策略。最后, 数据治理组织需要制定处理数据质量问题的策略和规程。 2 建立数据治理组织架构健全的数据治理组织是全面开展数据治理工作的基础, 数据治理组织 2 应包括管理人员、业务人员和技术人员, 缺一不可。数据治理组织可以设置三种角色,数据治理委员会、数据治理业务组、数据治理技术组。数据治理委员会: 由组织领导、信息技术部门负责人和业务部门负责人组成, 委员会负责制定相关制度、目标、规范、流程、标准等, 沟通协调,保障数据治理工作的全面顺利推进。数据治理业务组: 由业务部门的业务专家、系统管理员组成, 负责业务系统参数、基础数据维护,保证系统正常使用;另外还要负责审核、检查、整改业务数据,保障数据质量在数据产生源头的高度和精度。数据治理技术组:由信息技术部门的专业 IT 技术人员组成,包括系统开发人员、数据治理人员、数据库管理员。系统开发人员负责系统数据录入功能符合数据校验标准和数据治理标准; 数据治理人员负责开发数据质量检测规则、监控数据质量、批量修改数据等工作; 数据库管理员负责系统数据的备份、恢复、审核等工作。 3 设置数据质量基准数据必须具有合适的质量, 才能解决业务的需要。可通过多种方式评估数据集的质量。①效性。数据值具有可接受的格式。例如, 员工编号为 6 位文字数字字符。②唯一性。数据字段中没有重复的值。③完备性。数据字段中没有空值。例如, 邮政编码应该始终填入到地址表中。④一致性。数据属性与可能基于该属性本身或多个属性制定的业务规则一致。⑤及时性。数据属性表示没有过时的信息。例如, 没有客户合同拥有已过期的有效期。⑥准确性。数据属性是准确的。⑦符合业务规则。数据属性或数据属性组合遵守指定的业务规则。 3 4 建立主数据中心以实现对主数据的管理要满足收入增长、成本减少和风险管理等基本战略目标, 数据治理组织需要控制业务部门中的数据。这些信息中最有价值的部分(关于客户、产品、材料、供应商和账户的关键业务数据)常常称为主数据。主数据十分重要,分散在整个企业的业务流程、系统和应用程序中。数据治理组织现在已认识到了主数据的战略价值,在大部分企业和组织中, 多个应用系统、不同部门间需要共享数据的