“数据压缩”技术助力sap系统大数据快速输出.docx

信息化应用实践 1页共 17页“数据压缩”技术助力 SAP 系统大数据快速输出 2014- 10 -14 周清湘、韩占峰一、大数据输出困惑 ERP 系统稳定运行后, 随着时间的流逝, 系统中业务数据的量级也随之攀升。特别是以 SAP 、 Oracl e 商务套件为依托的 ERP 系统,数据增量更为惊人。以笔者所在企业为例:该企业部署了 SAP 公司的 ERP 系统,应用涵盖时尚行业、零售行业两大解决方案;其中,零售解决方案的数据增量尤为惊人; 如:终端零售数据以平均每年 1 亿条记录的量级增长,对应的库存事务、财务凭证数据都在 1 亿条以上。如此海量数据的沉淀,业务用户想快速输出近期明细数据(实时性较强的数据)却成了一种奢望, 近期交易数据尚且如此, 历史明细数据输出更为艰难。如何满足用户的愿望, 实现明细数据的快速输出变得迫在眉睫。好在 SAP 系统提供了“数据压缩”技术和“信息结构”技术,让明细数据的快速输出成为了现实。笔者与其技术团队运用上述两大核心技术解决了大数据明细输出问题。二、数据实时存储要保证明细数据快速输出, 首先要借助“信息结构”技术实现数据的实时存储和简单整合。所谓“信息结构”技术,即: 用户根据自身的需要定义数据结构, 确定数据整合逻辑及数据汇集粒度; 待确定无误后激活该数据结构。一旦被激活, 任何与之相关的业务操作都会按照事先设定的业务逻辑要求自动刷新( 添加、修改、删除等) 对应的数据表( Table )。通过“信息结构”整合后的数据其存储容量大大减少,同时,实现了明细数据的实时存储。与数据仓库比较而言,其特点就在于“实时”又“明细”。三、“数据压缩”技术事实上,“信息结构”中数据记录超过 1 亿条后, 其查询速度也将变慢; 这样以来, 效率低下的问题依然存在。这时,可使用“簇数据表”技术来解决数据输出速度慢的问题。“簇数据表”以数据块为对象进行存储,其数据表内条目减少 50 倍左右;而且,其逻辑存储和物理存储完全是一致的,因此, 明细数据查询直接定位物理存储, 保证数据快速输出。可将“信息结构”中的数据按照一定的逻辑进行分类形成若干个数据块,分类完毕后,“簇数据表”首先存储数据的分类逻辑;而后,将数据块的物理地址与之关联并存储。到此为止,就实现了明细数据的压缩机制。四、“数据解压”过程明细数据需要输出时, 一旦用户确定数据的输出条件, 程序根据条件内容直接到对应的“簇数据表”中查找符合条件的记录, 然后, 根据记录中物理地址的指向将数据块释放到内存中。这样以来, 就完成了明细数据的快速输出。在实际数据输出时,由于用户所需数据与数据块中的数据不完全一致,同时, 也要从多个数据块中获取,为了提高输出效率,可使用“ M+N ”匹配法从多个数据块中筛选出符合用信息化应用实践 2页共 17页户需求的明细数据。五、应用案例笔者所在企业的 ERP 系统中营销数据约 4 亿条记录, 即使通过“信息结构”简单压缩后, 数据量仍然在 亿左右。当下, 在如此海量的数据表中查找近期一个月内的明细数据, 依然困难重重。为此, 索性引进“数据压缩”技术解决该问题。相关技术部署完毕后,数据输出测试结果: 1000 万条数据记录可在 40 秒内输出到显示器上。以下描述重在阐述该技术的应用过程,期待对用户有所启发和帮助。 1、“信息结构”配置 1 .1 定义数据元素( SE11 ) 创建“信息结构”时可以借用 ERP 系统的字段( Field ); 由于描述不清晰,故, 可自行添加数据元素。 1 .2 扩展结构 MCBEST ( SE11 ) 点击“附件结构…”,将新建数据元素加入结构 MCBEST 中。信息化应用实践 3页共 17页 1 .3 维护自定义字段目录( MC18 ) 作用:便于在创建信息结构时字段选择。 1 .4 维护公式( MC1P ) 例一: 入库数量公式; 信息化应用实践 4页共 17页例二: 出库数量公式; 例三: 入库库金额公式; 例四: 出库金额公式; 信息化应用实践 5页共 17页 1 .5 维护自定义“信息结构”( MC21 ) 信息化应用实践 6页共 17页 1 .6 维护数据更新规则( MC24 ) 显示其中之一:移动/ 调整入库数量配置参数; 信息化应用实践 7页共 17页如何处理:“发票校验”、“修改价格”等无数量更新而有价值更新业务。 1 .7 激活更新( OMO9 ) 1 .8 初始化“信息结构”的数据 T-CODE:OLI1 用于更新 BF 事件历史数据; T-CODE:OLIZ 用于 UM 事件历史数据。由发票校验引起的价值更新,既可以通过 OLI1 更新, 也可以通过 OLIZ 更新; 因此, 数据初始化时信息化应用实践 8页共 17页应避免重复,造成数据重复计算。 2、“簇数