数据库比对方案.docx

数据库比对方案上海天玑科技股份有限公司地址:上海市桂林路406号2号楼11层邮编:电话:86-21-传真:86-21-比对背景Goldengate复制队列实时同步后,源端、目标端处于实时同步状态,下一步开始做源端、目标端数据库比对工作,为报表比对做好准备。由于生产库数据量大(4T以上数据),表累计3万张左右,制定详细比对策略,在保证数据质量同时,也要注意时间耗用,在数据准确性和比对时间上取得最佳平衡。比对原则通过比对步骤,确定生产端和PBdata端数据一致性。根据不同的表分类,分别比对不同的列,保证goldengate队列复制期间,数据稳定可靠。整个比对过程分为几个阶段:第一阶段:比对固定表是否一致,包括行列数,及重要列内容。第二阶段:比对变化表是否一致,包括所有字段内容。第三阶段:比对生产库和PBdata表的数量是否一致。第四阶段:完成所有表比对后,比对生产库、PBdata对象是否一致。(包括索引,视图,图表,函数,过程,触发器)第五阶段:新开PBdata应用账号,初检数据是否一致。比对步骤固定表固定表,即不实时update的表:前置表、解包表、区段表、日期明细表(部分)。前置表包括:_yyyymmddtbl_fep_emgy_yyyymmdd前置表比对字段:rec_num(笔数),blob字段。解包表包括:_yyyymmdd解包表比对字段:amount,entert_station_id,exit_station_id,cardid,card_counter(计数器),deal_time,trunmber(交易流水号),equip_id,ticket_type,trans_type。区段表包括:tbl_metro_en_flux_seg_yyyymmddtbl_metro_ex_flux_seg_yyyymmddtbl_metro_stic_seg_yyyymmddtbl_metro_sta_inc_seg_yyyymmddtbl_metro_odflux_seg_yyyymmddtbl_metro_fluxnew_seg_yyyymmdd区段表:比对全表。日期表:tbl_metro_sjtky_en_yyyymmddtbl_metro_sjtky_csm_yyyymmddtbl_metro_sjtky_sell_yyyymmddtbl_metro_sptcky_en_yyyymmddtbl_metro_sptcky_csm_yyyymmddtbl_metro_sptcky_sell_yyyymmdd日期表:可疑账数据比对以下字段amount,entert_station_id,exit_station_id,cardid,card_counter(计数器),deal_time,trunmber(交易流水号),equip_id,ticket_type,trans_type其他:TBL_METRO_YJP_OTHER_TBL_METRO_SJTEX_OTHER_TBL_METRO_SJTSE_OTHER_TBL_METRO_SJTEN_OTHER_TBL_METRO_ODFLUX_MTR_TBL_METRO_SPTEX_OTHER_TBL_METRO_SPTSE_OTHER_TBL_METRO_SPTEN_OTHER_TBL_METRO_TICK_TBL_METRO_PBOE_比对amount,entert_station_id,exit_station_id,cardid,card_counter(计数器),deal_time,trunmber(交易流水号),equip_id,ticket_type,trans_type。分区表:TBL_FEP_TXN_LOGTBL_FEP_TXN_MSGTBL_METRO_CH_SUB_ROADTBL_METRO_CH_SUB_ROAD_CHTBL_METRO_JCP_LISTTBL_METRO_OLAP_ODFLUXSUMTBL_METRO_OLAP_ODFLUXSUM1TBL_METRO_PBOE_LISTTBL_METRO_REPORT_DUTY_USETBL_METRO_REPORT_ODFLUX_ATBL_METRO_REPORT_ODFLUX_CSUMTBL_METRO_REPORT_ODFLUX_DAYTBL_METRO_REPORT_ODFLUX_DSUMTBL_METRO_REPORT_ODFLUX_HOURTBL_METRO_REPORT_ODFLUX_SUMTBL_METRO_REPORT_OD_TRANSITIONTBL_METRO_REPORT_OD_WAYPERTBL_METRO_REPORT_OD_WAYPER_CHTBL_METRO_REPORT_SUBR