深入浅出数据治理.docx

该【深入浅出数据治理 】是由【静雨蓝梦】上传分享，文档一共【54】页，该文档可以免费在线阅读，需要了解更多关于【深入浅出数据治理 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。1
深入浅出数数据治理
2
目录
一 数据管管理的现状状 3
二 数据治治理的概述述 4
(一) 数数据治理概概念 4
(二) 数数据治理目目标 5
三 数据治治理体系 5
四 数据治治理核心领领域 6
(一) 数数据模型 6
(二) 数数据生命周周期 6
(三) 数数据标准 8
(四) 主主数据 9
(五) 数数据质量 10
(六) 数数据服务 12
(七) 数数据安全
3
12
五 数据治治理保障机机制 13
(一) 制制度章程 13
(1) 规规章制度 13
(2) 管管控办法 13
(3) 考考核机制 13
(二) 数数据治理组组织 15
(1) 组组织架构 15
(2) 组组织层次 16
(3) 组组织职责 17
(三) 流流程管理 19
(四) IIT技术应应用 19
(1) 支支撑平台
5
19
(2) 技技术规范 22
附件A数据管理理规范 23
附件B数数据质量评评估办法 38
附件C数数据质量管管理流程 42
关于数据治治理的理解
数据管理的的现状
根据行业信信息化发展展的现状,结结合当今行行业数据治治理的要求求,大型集集团或政务务管理部门门现阶段数数据管理方方面存在以以下的不足足:
(1)数数据多头管管理,缺少少专门对数数据管理进进行监督和和控制的组组织。信息息系统的建建设和管理理职能分散散在各部门门,致使数数据管理的的职责分散散,权责不不明确。组组织机构各各部门关注注数据的角角度不一样样,缺少一一个组织从从全局的视视角对数据据进行管理理,导致无无法建立统统一的数据据管理规程程、标准等等,相应的的数据管理理监督措施施无法得到到落实。组组织机构的的数据考核核体系也尚尚未建立,无无法保障数数据管理标标准和规程程的有效执执行。
(2)多多系统分散散建设,没没有规范统统一的省级级数据标准准和数据模模型。组织织机构为应应对迅速
5
变变化的市场场和社会需需求,逐步步建立了各各自的信息息系统,各各部门站在在各自的立立场生产、使使用和管理理数据,使使得数据分分散在不同同的部门和和信息系统统中,缺乏乏统一的数数据规划、可可信的数据据来源和数数据标准,导导致数据不不规范、不不一致、冗冗余、无法法共享等问问题出现,组组织机构各各部门对数数据的理解解难以应用用一致的语语言来描述述,导致理理解不一致致。
(3)缺缺少统一的的主数据,组组织机构核核心系统间间的人员等等主要信息息并不是存存储在一个个独立的系系统中,或或者不是通通过统一的的业务管理理流程在系系统间维护护。缺乏对对集团公司司或政务单单位主数据据的管理,就就无法保障障主数据在在整个业务务范围内保保持一致、完完整和可控控,导致业业务数据正正确性无法法得到保障障。
(4)缺缺乏统一的的集团型数数据质量管管理流程体体系。当前前现状中数数据质量管管理主要由由各组织部部门分头进进行;跨局局跨部门的的数据质量量沟通机制制不完善;;缺乏清晰晰的跨局跨跨部门的数数据质量管管控规范与与标准,数数据分析随随机性强,存存在业务需需求不清的的现象,影影响数据质质量;数据据的自动采采集尚未全全面实现,处处理过程存存在人为干干预问题,很很多部门存存在数据质质量管理人人员不足、知知识与经验验不够、监监管方式不不全面等问问题;缺乏乏完善的数数据质量管管控流程和和系统支撑撑能力。
(5)数数据全生命命周期管理理不完整。目目前,大型型集团或政政务单位,数数据的产生生、使用、维维护、备份份到过时被被销毁的数数据生命周周期管理规规范和流程程还不完善善,不能确确定过期和和无效数据据的识别条条件,且非非结构化数数据未纳入入数据生命命周期的管管理范畴;;无信息化化工具支撑撑数据生命命周期状态态的查询,未未有效利用用元数据管管理。
6
数据治理的的概述
数据治理概概念
数据治理是是指将数据据作为组织织资产而展展开的一系系列的具体体化工作,,是对数据据的全生命命周期管理理。
数据治理体体系是指从从组织架构构、管理制制度、操作作规范、IIT应用技技术、绩效效考核支持持等多个维维度对组织织的数据模模型、数据据架构、数数据质量、数数据安全、数数据生命周周期等各方方面进行全全面的梳理理、建设以以及持续改改进的体系系。
数据治理目目标
数据治理的的目标是提提高数据的的质量(准准确性和完完整性),保保证数据的的安全性(保保密性、完完整性及可可用性),实实现数据资资源在各组组织机构部部门的共享享;推进信信息资源的的整合、对对接和共享享,从而提提升集团公公司或政务务单位信息息化水平,充充分发挥信信息化作用用。
数据治理体体系
数据治理体体系包含两两个方面,一一是数据质质量核心领领域,二是是数据质量量保障机制制。
具体两者内内容及相互互关系可以以参见下图图:
8
数据治理核核心领域
为了有效管管理信息资资源,必须须构集团级级数据治理理体系。数数据治理体体系包含数数据治理组组织、数据据构架管理理、主数据据管理、数数据质量管管理、数据据服务管理理及数据安安全管理内内容,这些些内容既有有机结合,又相互支撑。
数据模型
数据模型是是数据构架架中重要一一部分,包包括概念数数据模型和和逻辑数据据模型,是是数据治理理的关键、重重点。理想想的数据模模型应该具具有非冗余余、稳定、一一致、易用用等特征。逻逻辑数据模模型能涵盖盖整个集团团的业务范范围,以一一种清晰的的表达方式式记录跟踪踪集团单位位的重要数数据元素及及其变动,并并利用它们们之间各种种可能的限限制条件和和关系来表表达重要的的业务规则则。数据模模型必须在在设计过程程中保持统统一的业务务定义。为为了满足将将来不同的的应用分析析需要,逻逻辑数据模模型的设
8
计计应该能够够支持最小小粒度的详详细数据的的存储,以以支持各种种可能的分分析查询。同同时保障逻逻辑数据模模型能够最最大程度上上减少冗余余,并保障障结构具有有足够的灵灵活性和扩扩展性
数据生命周周期
一般包括数数据生成及及传输、数数据存储、数数据处理及及应用、数数据销毁四四个方面。
(1)数据据生成及传传输
数据应该能能够按照数数据质量标标准和发展展需要产生生,应采取取措施保证证数据的准准确性和完完整性,业业务系统上上线前应该该进行必要要的安全测测试,以保保证上述措措施的有效效性。对于于手工流程程中产生的的数据在相相关制度中中明确要求求,并通过过事中复核核、事后检检查等手段段保证其准准确性和完完整性。数数据传输过过程中需要要考虑保密密性和完整整性的问题题,对不同同种类的数数据分别采采取不同的的措施防止止数据泄漏漏或数据被被篡改。
(2)数据据存储
这个阶段除除了关注保保密性、完完整性之外外,更要关关心数据的的可用性,对对于大部分分数据应采采取分级存存储的方式式,不仅存存储在本地地磁盘上,还还应该在磁磁带上,甚甚至远程复复制到磁盘盘阵列中,或或者采用光光盘库进行行存储。对对于存储备备份的数据据要定期进进行测试,确确保其可访访问其数据据完整。数数据的备份份恢复策略略应该由数数据的责任任部门或责责任人负责责制定,信信息化管理理部门可以以给予相应应的支持。同同时还需要要注意因为为部门需要要或故障处处理的需要要,可能对对数据进行行修改,必必须在数据据管理办法法中明确数数据修改的的申请审批批流程,审审慎对待后后台数据修修改。
(3)数据据处理和应应用
信息化相关关部门需要要对数据进进行分析处处理,以挖挖掘出对于于管理及业业务开展有有价值的信信息,为保保证过程中中数据的安安全性,一一般应采用用联机处理理,系统只只输出分析析处理的结结果。但是
9
是实际中,因因为相关数数据分析系系统建设不不到位,需需要从数据据库中提取取数据后再再对数据进进行必要的的分析处理理,在这个个过程中就就需要关注注数据提取取操作是否否可能对数数据库造成成破坏、提提取出的数数据在交付付给分析处处理人员的的过程中其其安全性是是否会降低低、数据分分析处理的的环境安全全性等等。
(4)数据据销毁
这个阶段主主要涉及数数据的保密密性。应明明确数据销销毁的流程程,采用必必要的工具具,数据的的销毁应该该有完整的的记录。尤尤其是对于于需要送出出外部修理理的存储设设备,送修修之前应该该对数据进进行可靠的的销毁。
数据标准
数据标准是是集团单位位建立的一一套符合自自身实际,涵涵盖定义、操操作、应用用多层次数数据的标准准化体系。
数据标准的的建立是集集团单位信信息化、数数字化建设设的一项重重要工作,行行业的各类类数据必须须遵循一个个统一的标标准进行组组织,才能能构成一个个可流通、可可共享的信信息平台。
数据治理对对标准的需需求可以划划分为两类类,即基础础性标准和和应用性标标准。前者者主要用于于在不同系系统间,形形成信息的的一致理解解和统一的的坐标参照照系统,是是信息汇集集、交换以以及应用的的基础,包包括数据分分类与编码码、数据字字典、数字字地图标准准;后者是是为平台功功能发挥所所涉及的各各个环节,提提供一定的的标准规范范,以保证证信息的高高效汇集和和交换,包包括元数据据标准、数数据交换技技术规范、数数据传输协协议、数据据质量标准准等。
(1)数据据分类与编编码
数据分类与与编码标准准是信息化化建设中标标准化的一一项基础工工作,该类类标准规定定平台汇集
10
集、交换相相关信息统统一的分类类系统和排排列顺序以以及编码规规则,目的的是在不同同系统和用用户之间建建立交通数数据的一致致参照,对对提高数据据采集、处处理和数据据交换效率率具有重要要作用。数数据分类与与编码标准准的制定将将有力推进进平台标准准化及交通通信息化建建设标准化化的进程。
(2)数据据字典
针对实际需需求,定义义数据集,建建立各个领领域的数据据字典,规规范数据概概念和数据据定义。在在此基础上上,形成完完备的集团团单位数据据集和数据据字典。
(3)元数数据标准
元数据标准准是描述数数据资源的的具体对象象时所有规规则的集合合,它包括括了完整描描述一个具具体数据对对象时所需需要的数据据项集合。针针对各种信信息资源分分别制定适适当的元数数据标准,可可为信息的的管理、发发现和获取取提供一种种实际而简简便的方法法,从而提提高数据交交换效率。
(4)数据据交换标准准
为了保证数数据共享和和交换的顺顺利实现,必必须明确定定义和规范范数据交换换的相关标标准。数据据交换的标标准规范是是集团单位位综合信息息平台的核核心标准。其其中应当包包括数据交交换内容、数数据交换格格式、数据据传输方式式、各类中中心间数据据接口的标标准化等方方面。
(5)数据据质量标准准
由于数据采采集任务通通常由其他他二级平台台完成,数数据治理平平台的标准准方法主要要集中在数数据的加工工和管理上上。应该重重点开发的的一个领域域是数据质质量控制方方法。应当当从三个方方面对数据据质量方法法进行研究究:“坏坏数据”或或“不可靠靠数据”的的识别,错错误数据的的编辑方法法,以及缺缺少值的处处理。