数据库比对方案.docx

11 / 11

数据库比对方案
上海天玑科技股份有限公司
地址：上海市桂林路406号2号楼11层
邮编：200233
电话：86-21-54278888
传真：86-21-54279888
比对背景
Goldengate复制队列实时同步后，源端、目标端处于实时同步状态，下一步开始做源端、目标端数据库比对工作，为报表比对做好准备。由于生产库数据量大（4T以上数据），表累计3万张左右，制定详细比对策略，在保证数据质量同时，也要注意时间耗用，在数据准确性和比对时间上取得最佳平衡。
2 / 12
比对原则
通过比对步骤，确定生产端和PBdata端数据一致性。根据不同的表分类，分别比对不同的列，保证goldengate队列复制期间，数据稳定可靠。
整个比对过程分为几个阶段：
第一阶段：比对固定表是否一致,包括行列数，及重要列内容。
第二阶段：比对变化表是否一致，包括所有字段内容。
第三阶段：比对生产库和PBdata表的数量是否一致。
第四阶段：完成所有表比对后，比对生产库、PBdata对象是否一致。（包括索引，视图，图表，函数，过程，触发器）
第五阶段：新开PBdata应用账号，初检数据是否一致。
3 / 12
比对步骤
固定表
固定表，即不实时update的表：前置表、解包表、区段表、日期明细表（部分）。
前置表包括：
tbl_fep_card_yyyymmdd
tbl_fep_tick_yyyymmdd
tbl_fep_pboc_yyyymmdd
tbl_fep_moni_yyyymmdd
tbl_fep_cmcc_yyyymmdd
tbl_fep_emgy_yyyymmdd
前置表比对字段：rec_num(笔数)，blob字段。
解包表包括：
tbl_metro_card_yyyymmdd
tbl_metro_tick_yyyymmdd
tbl_metro_pboc_yyyymmdd
tbl_metro_cmcc_yyyymmdd
解包表比对字段：amount,entert_station_id,exit_station_id,cardid,card_counter（计数器），deal_time,trunmber(交易流水号)，equip_id,ticket_type,trans_type。
区段表包括：
tbl_metro_en_flux_seg_yyyymmdd
tbl_metro_ex_flux_seg_yyyymmdd
tbl_metro_stic_seg_yyyymmdd
tbl_metro_sta_inc_seg_yyyymmdd
tbl_metro_odflux_seg_yyyymmdd
tbl_metro_fluxnew_seg_yyyymmdd
区段表：比对全表。
日期表：
tbl_metro_sjtky_en_yyyymmdd
tbl_metro_sjtky_csm_yyyymmdd
tbl_metro_sjtky_sell_yyyymmdd
tbl_metro_sptcky_en_yyyymmdd
tbl_metro_sptcky_csm_yyyymmdd
tbl_metro_sptcky_sell_yyyymmdd
4 / 12
日期表：可疑账数据比对以下字段amount,entert_station_id,exit_station_id,cardid,card_counter（计数器），deal_time,trunmber(交易流水号)，equip_id,ticket_type,trans_type
其他：
TBL_METRO_YJP_OTHER_20150201
TBL_METRO_SJTEX_OTHER_20150201
TBL_METRO_SJTSE_OTHER_20150201
TBL_METRO_SJTEN_OTHER_20150201
TBL_METRO_ODFLUX_MTR_20150201
TBL_METRO_SPTEX_OTHER_20150201
TBL_METRO_SPTSE_OTHER_20150201
TBL_METRO_SPTEN_OTHER_20150201
TBL_METRO_TICK_20150201
TBL_METRO_PBOE_20150201
比对amount,entert