数据整理与迁移..docx

1 数据整理与迁移 数据迁移总体设计设计数据迁移方案主要包括以下几个方面工作:研究与数据迁移相关的资料,或在网站上查询相关内容、评估和选择数据迁移的软硬件平台、选择数据迁移方法、选择数据备份和恢复策略、设计数据迁移和测试方案等。东软公司数据迁移具体方法详见本方案第 8 章“8数据整理与迁移”等相关章节内容,数据迁移总体过程如下: 进行数据模拟迁移根据设计的数据迁移方案,建立一个模拟的数据迁移环境,它既能仿真实际环境又不影响实际数据,然后在数据模拟迁移环境中测试数据迁移的效果。数据模拟迁移前也应按备份策略备份模拟数据,以便数据迁移后能按恢复策略进行恢复测试。 测试数据模拟迁移根据设计的数据迁移测试方案测试数据模拟迁移,也就是检查数据模拟迁移后数据和应用软件是否正常,主要包括:数据一致性测试、应用软件执行功能测试、性能测试、数据备份和恢复测试等。 准备实施数据迁移数据模拟迁移测试成功后,在正式实施数据迁移前还需要做好以下几个方面工作:进行完全数据备份、确定数据迁移方案、安装和配置软硬件等。 正式实施数据迁移按照确定的数据迁移方案,正式实施数据迁移。 测试数据迁移效果按照数据迁移测试方案测试数据迁移效果,并对数据迁移后的数据库参数和性能进行调整,使之满足数据迁移后实际应用系统的需要。 移植系统应用软件将实际应用系统的应用软件移植到数据迁移后的数据库系统上,并使之正常运行。 正式运行应用系统在正式实施数据迁移成功并且数据库参数和性能达到要求后,就可以正式运行应用系统,并投入实际使用。 数据资源现状分析目前全省正在运行的养老保险信息系统是 1995 年由省社保局组织、湖南省长信信息系统集成有限公司负责开发的,为全省养老保险的信息化建设打下了较好的基础,取得了一定的成效。当前除益阳外,十三个市(州)都在使用全省的养老保险软件。该系统最初是采用 FOXPRO 小型数据库,1998 年全国养老保险统一制度实施时曾对软件进行过一次修改升级; 1999 年该系统数据库由 FOXPRO 小型数据库升级到 ORACLE 大型关系型数据库, 2003 年养老保险全省联网及 2006 年调整待遇计发办法时,又先后统一进行过两次升级。各地应用水平参差不齐,对历史数据没有进行清理,存在大量垃圾数据,数据的完整性和一致性不能保证,严重影响决策分析,数据质量需要提高;同时数据资源和信息不能充分共享,对政策和业务发展的适应性较差,影响了办事效率和服务质量的提高。通过对招标文件的充分理解,并结合我们建设长沙和株洲金保工程的经验,湖南省历史数据整理有以下几个特点: 一、因为涉及到全省的数据整理,去掉已建设的几个地市,涉及到 10 几个地市州和 100 多个区县,原养老系统经办机构点多面广是本次数据整理的一个突出特点,再加上各地应用水平参差不齐,为数据整理增加了很大的难度; 二、我们湖南省早在 1995 年就开始养老保险系统建设, 至今历史时间长, 沉淀错误数据也比较多, 数据库中存在着大量的重复和错误数据, 为了更好的修正并确认数据的正确性, 需要与其他相关部门数据进行关联比对,如单位信息可以和工商部门、和质量技术监督局进行关联比对,人员信息可以和公安部门进行关联比对,这些数据处理我们在一些地区都有成功经验,可以为数据整理承建商提供参考方案; 三、系统建设时间早,与我国现行指定新的标准存在一定差距,信息缺项、错误项比较多; 四、历史个人帐户的清理问题也是本次数据整理过程中非常重要的一个问题,并且各地对于总帐要求的标准又不一致,有的可能以新总帐为准,这样会简单一些,有的可能以历史总帐为准,这种情况就会出现旧帐和新帐有个差额,这个差额需要新系统中能够处理平帐。 数据整理和迁移概述数据整理和迁移是我们湖南省实现数据“同人同城同库”要求的重要基础性工作,各相关业务管理部门、经办机构和信息机构要相互协调,紧密配合,共同做好这项工作。数据整理工作需要用户方相关部门和养老保险系统承建商的密切配合。数据整理是对湖南省省本级和各地市数据中心应管理的业务经办数据,进行遵守统一标准的规范性整理、补齐数据内容的完整性整理和实现数据记实的正确性整理,一般包括内部整理和外部核对两部分。具体过程是,首先按照全国统一标准并结合湖南省省本级和各地市本地需求,建立结构规范的临时数据库(简称为整理库),将原生产数据转换导入该库。然后对导入的信息进行初步比较、核查、校正以后,采用逻辑推理、经验判断、合理数值范围检验等方法,进行合法性检查及代码过滤等方面的审核和筛选,滤出可疑数据和缺失数据,并提交至外部核对环节,由用人单位或劳动者本人补充确认。业务部门对外部核对返回后的数据进行审核,据此进行完整性和正确