数据迁移整合方案.docx

数据迁移整合方案
历史数据的迁移整合
本次系统是在原有系统的基础上开发完成，因此，新旧系统间就存在着切换的问题。另外，新开发的系统还存在与其他一些应用系统，例如，企业信用联网应用系统、企业登记子网站、外资登记子网站等系统进行整合进行人工调整后，方可进行数据转换。可转换数据就是该部分数据不需做任何处理，基本满足数据转换的要求或者是该部分数据新系统建议调整，但是不影响系统的运行，可以等新系统运行后再调整，这样可以为数据转换工作节省很多时间。
借助数据整理相关工具
数据整理非常艰巨，涉及的数据量很大，通过人工检查是不可能完成的，因此必须编写相关的数据整理工具完成数据整理。包括数据整理工具和数据纠错工具。数据整理工具负责将原始备份数据库中的数据进行分类进入不同的中间数据库；数据纠错工具负责提供友好、方便的工具界面供用户方相关人员完善和纠正错误数据。
利用中间库作为桥梁
由于原系统和新系统的数据库结构可能不一样，所以采用中间库作为衔接新旧系统数据的重要桥梁，对于建立新旧系统的对照关系很重要。一旦业务人员对新系统中某项转换数据存在疑问的情况下，就可以通过中间库的关联，顺利找出原数据。
数据转换
数据转换就是将整理后的数据，依照对照表的要求进行转换，并写入到新系统。这个过程可以通过交换系统实现。
数据整理与转换步骤
设计数据移植方案
设计数据移植方案主要包括以下几个方面工作：研究历史数据的结构、来源、数据项定义、取值等现状，研究新旧数据库结构的差异，评估和选择数据移植的软硬件平台、选择数据移植方法、选择数据备份和恢复策略、设计数据移植
和测试方案等。
源数据库数据清理
对于一个运行已久的数据库，主要存在三种数据库垃圾：数据库对象垃圾、数据库权限垃圾、数据垃圾。数据库对象的清理不是一件容易的工作，需有认真负责的态度，要有耐力，任何错误的清理不仅会造成前端不能运行，而且将会造成数据的丢失。所以清理数据库对象也许需要一个安全、准确，可很快恢复的方法。
首先要认识数据库资源，包括数据库对象，如表、数据库事件、过程、函数，数据库结构关系，在此基础上结合运行系统，确认数据库垃圾，制定合理的垃圾清理方案，达到清理垃圾的目的。
主要方法是对数据库数据进行整合和分解，整合相关数据减少数据的重复，分解数据则可是数据团体更趋向合理，当然整合和分解要以适合新设计的数据库结构为基础，以便简化转化程序。
进行数据模拟移植
根据设计的数据移植方案，建立一个模拟的数据移植环境，它既能仿真实际环境又不影响实际数据，然后在数据模拟移植环境中测试数据移植的效果。
数据模拟移植前也应按备份策略备份模拟数据，以便数据移植后能按恢复策略进行恢复测试。
测试数据模拟移植
根据设计的数据移植测试方案测试数据模拟移植，也就是检查数据模拟移植后数据和应用软件是否正常，主要包括：数据一致性测试、应用软件执行功能测试、性能测试、数据备份和恢复测试等。
准备实施数据移植
数据模拟移植测试成功后，在正式实施数据移植前还需要做好以下几个方面工作：进行完全数据备份、确定数据移植方案、安装和配置软硬件等。
正式实施数据移植
按照确定的数据移植方案，正式实施数据移植。
数据整理和转换的关键技术
对于多源异构数据库之间的数据转换，因为目标数据库的格式和约束的限制严格，直接编写转换程序实现困难，可在原有数据库系统中编写转换程序。
对于源数据库、目标数据库结构有差异的数据，建立中间过渡库，中间库在原数据库平台中建立，但结构与目标数据库的结构相同。
将源数据库转入中间库的过程是一个数据的重新组合和关联的过程，将是转换的中心和重点工作，需要对源数据库与新数据库的数据关系进行深入分析，对每一个数据库写出转换策略。
非空处理：对于应该非空但实际为空的记录制定处理规则。
取值约束处理：对于有取值范围约束的字段进行规范化处理，即将转换后的数据取值规范到该范围内。
主键处理：重新对中间库进行编号。
填写外键：每个数据库或多或少存在外键，外键越多，标明与其它库关联越多，这样的库应后处理；反之，外键越少的库应该先处理。
唯一键处理：对要求唯一的数据项（主键、唯一键）进行唯一检测，并对检测出的不唯一的记录，制定处理规则。
附加分散处理：对某些表中的某些字段进行数据规范化处理，即将不合规范的数据替换成规范的数据，几个表之间的关联处理，以及一些特殊处理等。数据一致性处理：对于有多个数据源的数据进行一致性检查, 制定处理规则。
新旧系统切换
第一步：编写《系统切换方案》。
系统切换方案包括系统切换方法、系统切换计划等内容。
第二步：组织相关人员对《系统切换方案》进行评审，如果未通过，则需要调
整系统切换方案。
第三步：进行业务系统数据转