数据迁移整合方案.docx

数据迁移整合方案.docx数据迁移整合方案
数据迁移整合方案
1 / 12
数据迁移整合方案
历史数据的迁移整合
本次系统是在原有系统的基础上开发完成， 因此，新旧系统间就存在着切换
的问题。另
原系统的业务流程；
原系统的数据流程；
数据迁移整合方案
数据迁移整合方案
3 / 12
数据迁移整合方案
原系统的数据结构；
在了解这些要素的基础上，需要编写《前期调研分析报告》 。调研报告主要包含如下一些方面：
1、将所有数据表进行分类，如系统参数类、代码类、综合业务类、相关业务类
等等。
2、对所有数据表的数据组成、数据来源、用途等进行描述。
3、并非所有的数据都是需要进行转换的，在《数据字典分析报告》中要指出那
些数据表是需要进行转换的， 那些是不需要进行转换的， 对于不需要转换的表要
说明不需要转换的原因。
4、描述数据在各表中的流向，对于关键的或复杂的业务点要做详细说明。
转换设计阶段
转换设计阶段主要是完成新旧数据字典的对照， 同时明确各个表中具体数据字段的转换方式。在转换设计阶段主要是编写 《数据字典对照报告》
《数据字典对照报告》主要描述新旧系统数据表间的对照关系以及代码对照关
系。以新系统为准， 原系统作参照， 将原系统的数据字典对应到相应的系统数据字典中。在对照过程中，需要遵循数据照搬原则，数据尽量不要作处理。
在数据字典对照表中需要进行转换的数据字段应该一一对应， 对新旧数据表中字段的名称、类型、精度等都要有详细的描述，同时还要明确数据的转换方式。数据转换方式主要有以下几种：
直接转换。直接转换方式是最常用的方式，就是将原表中对应字段的数据原封不动的搬到新表中来。按照“数据照搬”原则，我们应该应该尽量采用这种方法。
程序转换。对那些需要进行计算才能进行转换的数据将采用程序转换方式进行。
代码对照。某些代码字段，往往新旧系统的编码不相同，这时就需要参照代码对照表进行代码对照转换。
数据迁移整合方案
数据迁移整合方案
4 / 12
数据迁移整合方案
类型转换。少数数据可能需要对类型进行转换，如就表以字符串‘YYYY-MM-DD’来存放日期，而新表中以 DATE型来存放日期，这时就需要进行类型转换。
常量转换。新表中某些字段可能存在缺省值，这时将采用常量转换方式，当旧表没有对应字段或旧表对应字段数据为空时， 将直接在新表中写入缺省数据。
不转换。对于旧表有但新表中没有的字段将不作任何转换。
新旧系统代码对照列出了全部需要进行转换的新旧系统数据表中存在的二级代码间的对照关系，主要以二级代码对照表的形式来反映。
. 数据迁移方案
. 数据整理策略
数据整理就是将原系统数据整理为系统转换程序能够识别的数据。 数据整理大致分为两个阶段：第一阶段就是将不同类型来源数据采集备份到统一的数据库中；第二阶段就是将原始数据进行整理，按照不同的要求分类进入不同的中间数据库，为数据转换提供中间数据。数据整理过程采用了以下方法：
确保原始数据的完整性
在进行数据整理之间，我们先需要对原始采集数据进行备份。 备份的目的有两个：一个是统一数据库， 便于数据转换， 另一个就是为以后数据追根溯源提供参考依据。在本系统中，我们将采用 DB2作为备份统一数据库。
数据分级过滤策略
数据分级过滤就是把数据按照不同的数据级别进行分类整理进入不同的中间数
据库中。本系统中我们把数据分为三个级别：废弃数据、待调整数据、可转换数
据。废弃数据就是该部分数据的存在对系统资源造成浪费的数据， 并且会影响以
后系统的运行。 待调整数据就是该部分数据严重影响新系统的运行， 必须进行人
数据迁移整合方案
数据迁移整合方案
5 / 12
数据迁移整合方案
工调整后，方可进行数据转换。 可转换数据就是该部分数据不需做任何处理， 基本满足数据转换的要求或者是该部分数据新系统建议调整， 但是不影响系统的运行，可以等新系统运行后再调整，这样可以为数据转换工作节省很多时间。
借助数据整理相关工具
数据整理非常艰巨， 涉及的数据量很大， 通过人工检查是不可能完成的， 因此必须编写相关的数据整理工具完成数据整理。包括数据整理工具和数据纠错工具。
数据整理工具负责将原始备份数据库中的数据进行分类进入不同的中