数据迁移整合与方案.pdf

: .
. 熟悉原有系统的工程师的帮助。数据转换的前期工
作就是对原系统做一次彻底的全面了解，主要需要的考虑的有下面一些情况：
1) 原系统的网络结构；
2) 原系统的业务范围、存在几套业务系统以及他们之间的关系；
3) 原系统的开发商、开发工具、开发平台以及采用的数据库；
4) 原系统的数据分布状况：包括数据范围、数据量大小等；
5) 原系统的业务流程；
6) 原系统的数据流程；
. ! .. .
7) 原系统的数据结构；
在了解这些要素的基础上，需要编写《前期调研分析报告》。调研报告主要包含
如下一些方面：
1、将所有数据表进行分类，如系统参数类、代码类、综合业务类、相关业务类
等等。
2、对所有数据表的数据组成、数据来源、用途等进行描述。
3、并非所有的数据都是需要进行转换的，在《数据字典分析报告》中要指出那
些数据表是需要进行转换的，那些是不需要进行转换的，对于不需要转换的表要
说明不需要转换的原因。
4、描述数据在各表中的流向，对于关键的或复杂的业务点要做详细说明。
2. 转换设计阶段
转换设计阶段主要是完成新旧数据字典的对照，同时明确各个表中具体数据字段
的转换方式。在转换设计阶段主要是编写《数据字典对照报告》
《数据字典对照报告》主要描述新旧系统数据表间的对照关系以及代码对照关系。
以新系统为准，原系统作参照，将原系统的数据字典对应到相应的系统数据字典
中。在对照过程中，需要遵循数据照搬原则，数据尽量不要作处理。
在数据字典对照表中需要进行转换的数据字段应该一一对应，对新旧数据表中字
段的名称、类型、精度等都要有详细的描述，同时还要明确数据的转换方式。数
据转换方式主要有以下几种：
1) 直接转换。直接转换方式是最常用的方式，就是将原表中对应字段的数据原
封不动的搬到新表中来。按照“数据照搬”原则，我们应该应该尽量采用这种
方法。
2) 程序转换。对那些需要进行计算才能进行转换的数据将采用程序转换方式进
行。
3) 代码对照。某些代码字段，往往新旧系统的编码不相同，这时就需要参照代
码对照表进行代码对照转换。
. ! .. .
4) 类 型 转 换 。 少 数 数 据 可 能 需 要 对 类 型 进 行 转 换 ， 如 就 表 以 字 符 串
‘YYYY-MM-DD’来存放日期，而新表中以 DATE 型来存放日期，这时就需
要进行类型转换。
5) 常量转换。新表中某些字段可能存在缺省值，这时将采用常量转换方式，当
旧表没有对应字段或旧表对应字段数据为空时，将直接在新表中写入缺省数
据。
6) 不转换。对于旧表有但新表中没有的字段将不作任何转换。
7) 新旧系统代码对照列出了全部需要进行转换的新旧系统数据表中存在的二
级代码间的对照关系，主要以二级代码对照表的形式来反映。
. 数据迁移方案
. 数据整理策略
数据整理就是将原系统数据整理为系统转换程序能够识别的数据。数据整理大致
分为两个阶段：第一阶段就是将不同类型来源数据采集备份到统一的数据库中；
第二阶段就是将原始数据进行整理，按照不同的要求分类进入不同的中间数据库，
为数据转换提供中间数据。数据整理过程采用了以下方法：
1. 确保原始数据的完整性
在进行数据整理之间，我们先需要对原始采集数据进行备份。备份的目的有两个：
一个是统一数据库，便于数据转换，另一个就是为以后数据追根溯源提供参考依
据。在本系统中，我们将采用 DB2 作为备份统