基于TurboDXDM的数据迁移方案.docx

基于TurboDXDM的数据迁移方案 数据迁移场景定义数据迁移(DataMigration)场景指的是,用户由于业务的需要,需要在一定有限的时间范围内(如1天),一次性快速地完成将应用系统的源数据库中的数据迁移至某个同构或异构的目标数据库中(1对1),然后应用切换到新的数据库,旧的数据库不再继续使用。数据迁移不同于持续运行的数据复制同步(Replicate)场景,但可以理解为一次性有限时间内运行的数据复制,当源库中的全部数据复制完成后,迁移流程停止,应用切换到新的数据库中使用。数贝TurboDXDM(SMB,中小企业免费版)是基于TurboDX平台产品定制的小型数据迁移工具,主要目标是为中小企业DBA提供方便易用的一次性数据迁移工具。TurboDXDMSMB目前支持单机版的Oracle、SQLServer、Mysql、MariaDB、PostgreSQL、Informix、云中RDS等,以及分库分表的分布式数据库或MPP类型的目标数据仓库。场景约束:TurboDXDMSMB中小企业版支持单任务全量交换200万条记录以及在线迁移CDC任务运行时间2天。对于需要复制数据量规模较大的数据迁移场景,以及需要持续运行的复制同步任务或ETL任务的应用场景,请咨询数贝软件公司或参阅数贝软件官网。数贝软件官网将在每个月初定时上载更新TurboDXDMSMB中小企业版供免费下载安装使用,下载安装的免费迁移工具有30天一次性的使用周期,旧的版本过期后可以重新下载新的免费版本。 迁移方案的基本流程设计迁移方案需要考量以下几个指标:迁移前后的数据一致性;业务停机时间;迁移项目是否对业务代码有侵入,以及将对源端应用系统的性能影响降到最小;迁移工具需要提供额外的功能:如表结构重构、字段调整等。对于目标为分库分表的数据库如MyCat、或Greenplum等,在线迁移工具实现增量CDC同步时,应按分库分表规则对分片字段做特殊处理。平衡复杂性和业务方需求,迁移方案设计为两种:停机数据迁移和在线数据迁移。如果业务场景允许数小时或数天的停机(取决于数据量的大小),那么使用停机迁移方案,复杂度低,数据损失风险低。如果业务场景不允许长时间停机,或者迁移数据量过大,无法在几个小时内迁移完成,那么就需要使用在线迁移方案和在线迁移产品工具了。:Oracle到华为DDM在线迁移数据流:(离线迁移):停机(源端系统设为只读)迁移逻辑比较简单,选择和运行TurboDXDM复制同步中的全量任务,TurboDXDM全量交换性能卓越,可达到40000条记录/s或10M/s,1000万条记录的库表,5-6分钟就完成了。通过全量监控界面,可观察任务完成的情况。最后,可通过TurboDXDM的数据目录的功能,查看和比较库表总记录数及抽样某些记录,进行一致性校验,最后确认迁移任务运行OK,然后将Source进行备份。:在线迁移的方案稍微复杂一些,流程上有准备全量数据,然后CDC实时同步增量数据,在数据同步跟上之后,进行短暂停机(确保没有流量),就可以使用新的应用配置,并使用新的目标数据库了。使用TurboDXDM的FullLoad+CDC任务类型来实现在线迁移。对于在线运行中的应用系统,在全量交换过程中可能持续有新的数据进入,为了保证源和目标的数据一致性,则应选择全量+CD