SAP系统大数据快速输出解决方案课件.ppt

海量数据终端零售数据>1亿/年表名数据量LIPS188,055,377MSEG589,961,021VBRP141,244,573BSEG675,083,578MARD88,121,876SAPIS-R零售行业解决方案2011年上线至今多维查询品牌大类小类效率的困惑大数据多维度数据输出怎么办?1秒10秒1分钟,10分钟BI的适用范围:宏观、非实时业务用户要求:明细、实时解决方案InfoStructureDataClusterM+NAlgorithmSAP为解决OLTP系统数据整合和实时展现的需要,特别在系统中植入了“信息结构”技术。实现SAP业务数据的实时存储和简单整合。依据事先确定的数据整合逻辑和数据汇集粒度。信息结构-实现原理创建步骤:保存业务数据时,同步按预设指标汇总至信息结构表。信息结构-运行逻辑表头行项目原始业务数据信息结构指标库∑数据库优势:实时性好自定义指标粒度数据存储在业务系统注意:使用信息结构会降低业务数据保存时的性能,须适度使用信息结构表数据量过大时,查询速度同样会变慢,将它转换为簇数据库存储,加速读取;关键字为逻辑条件,数据簇为逻辑数据,则:数据逻辑与物理存储保存一致;下图:簇数据库;右图:数据簇簇数据库-实现原理历史数据合并压缩存储,读取时批量取出簇数据库-运行逻辑时间组织产品营销数据12345678信息结构数据期间组织12345678…ABAP运行时环境时间组织产品营销数据123M+N筛选算法-业务目标下图为查询目标(示例)使用簇技术后,提升了数据库读取速度,降低了数据库负荷,把数据处理压力全部放在应用程序。两次循环的时间复杂度:O(M×N÷2)循环加二分法读取的时间复杂度:O(N×log2N)+O(M×log2N)M+N筛选算法-算法设计算法示意图两表分别排序的时间复杂度:O(N×log2N)+O(M×log2M)索引自增筛选的时间复杂度:O(M+N)注意:本算法依赖于ABAP标准排序的高性能, (标准排序时600万条数据仅需1~2秒) 如使自行编写排序算法,需重新评估。