基于数据中台的财务大数据可视化分析的实现.pdf

该【基于数据中台的财务大数据可视化分析的实现 】是由【史湘云】上传分享，文档一共【3】页，该文档可以免费在线阅读，需要了解更多关于【基于数据中台的财务大数据可视化分析的实现 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。年第期经济研究导刊,

总第期

基于数据中台的财务大数据可视化分析的实现
汪争贤,吴建琳,陈胡嵘,夏禹晨
(国网安徽省电力有限公司,合肥230000)
摘要:数据中台是以企业多类型大数据量的汇聚为基础,以统一数据模型为标准,通过丰富的数据标签,为前端应用
提供敏捷的统一数据服务。基于此,针对电力企业财务管理对“企业资源实时掌握、经营活动动态反映”的要求,结合存储在
、财务管控系统、平台、系统中的基础业务数据,研究通过数据中台实现数据可视化分析的整个过程,对相关
ERPMDMPMS
企业解决数据孤岛问题,实现数据融合有一定参考意义。
关键词:电力企业;数据中台;财务大数据;可视化
中图分类号:文献标志码:文章编号:()
F23A1673-291X202120-0128-03
家电网公司统一应用开发平台,通过集成可视化框架
一、财务大数据可视化实现目标
(WebGL、VUEX、ECharts、Mapbox、),以采用
基于数据中台的财务大数据可视化分析,是以各B/S架构的方式对外提供服务。
业务系统数据为基础,实现多维数据分析与展示,重(二)数据汇聚与服务层架构
点聚焦在数据分析服务化、数据应用工具化的能力数据汇聚与服务实现流程如下:
上,围绕“会计信息实时反映、预算全链条管理、-
全过程管控、资产全寿命管理、电价电费全环节管控、Compute。
资金全方位管理、风险在线监控”等专业管理模块,、DataWorks对数据进行ETL
现精益管理的需求。处理。
系统实现上,通过数据中台总体架构,。
财务数据的接入、数据转换、数据计算、数据服务、、ECharts可视化建立用户画像。
示分析。同时,结合省公司专业处室、基层单位新增业基于数据中台的大数据分析总体数据流向,如图
务、板块、应用场景需求,继续开展数据溯源、模型搭1所示。
建、输出设计、数据分析与应用场景建设。整体上在充
分利用现有各财务系统的建设成果基础上,通过技术
整合、功能整合、数据整合、模式整合、业务整合等技
术手段,将各个分离的信息数据集成实现共享,并能
够以数据服务方式对外分享,使资源达到充分共享,结
果将有效节省建设的投资,提升系统建设的经济效益。
二、总体构架
(一)总体架构
总体架构分为数据汇聚与服务层、数据可视化分
析层。基于阿里DataWorks平台实现的数据汇聚与服
务层,能够实现数据集成、开发、治理、服务、质量和安图1数据中台数据流向图
全等全套数据研发工作。数据可视化分析层,基于国贴源层使用分布式数据仓库MaxCompute,源业务
收稿日期:2020-11-15
作者简介:汪争贤(),男,安徽岳西人,硕士,高级会计师,注册会计师,从事财务管理研究;吴建琳(),女,安徽歙县
1977-1979-
人,高级会计师,注册会计师,从事财务管理研究;陈胡嵘(),男,安徽贵池人,高级会计师,从事财务管理研究;夏禹晨
1984-
(),女,安徽濉溪人,高级会计师,从事财务管理研究。
1988-
128
--
万方数据
山分析主体业务模型扯汇总层模型—白定义模型源业务系统模型业务应用层层汇总层旱明细层贴源量●、,
系统数据通过DataWorksDI、DTS、DataHub组件接入端系统影响小。使用DataWorks-DI定时做全量抽取。
MaxCompute全量表和增量表;共享层使用分布式数据每天全量保存在MaxCompute一个新的分区里面,按
仓库MaxCompute,通过DataWorks-DI组件完成贴源层需开展数据更新。
数据表到共享层基于模型的数据表和标准表转化;分新的分区,指的是通过设置分区字段,设置表为
析层利用MaxCompute、RDS、ADB等计算平台与分析分区表。当使用分区字段对表进行分区时,新增分区、
库,通过DataWorks组件基于业务逻辑完成业务分析,保更新分区内数据和读取分区数据均不需要做全表扫
存计算后的结果表开发。计算结果可以封装为数据服描,可提高处理效率。
务API,发布注册至API网关后,
进行可视化展示,或者以SDK方式共外部报表工具或(1)增量定时抽取
应用进行调用。最后利用QuickBI、ECharts等报表组针对源端表只存在数据新增操作,且数据表具备
件或界面开发的方式进行可视化展示分析应用。增量标识字段,如日志类、访问流量类信息,可采取增
(三)数据可视化分析层架构量定时抽取策略。存量数据一次性通过DataWorks-DI
数据可视化分析层基于国网公司SG-UAP开发从源端数据库表全量抽取,数据写入(INSERTOVER-
平台构建,其好处是遵守国家电网公司统一的开发标WRITE)MaxCompute贴源层的全量表。全量表按天分
准,与统一权限系统等已实现标准的集成,运行平稳,区,不设置生命周期。
降低了开发成本。详见图2。增量数据每日根据增量标识使用DataWorks-DI
做增量数据同步,数据直接存入MaxCompute全量表相
应分区内。每天定时通过脚本将当天增量数据同步
(INSERT)至MaxCompute全量表当日分区。
(2)增量实时同步
针对数据量较大并且源端数据存在增删改的情
况,在数据接入中,存量数据一次性通过DataWorks-DI
从源端数据库表全量抽取,数据写入(INSERTOVER-
WRITE)MaxCompute贴源层的全量表当日分区,全量
数据按天分区保留全量切片数据,为节省空间仅保留
两天分区数据。
增量数据通过OGG+DATAHUB的方式实现实时
数据接入,将数据同步(INSERT)至MaxCompute贴源
图2数据可视化分析层架构层的增量表当日分区内,增量表按天、小时、分钟三级
由于SG-UAP平台集成开发工具是基于Eclipse分区,不设置生命周期,采取定期人工删除增量数据
工具实现的,符合业界主流开发标准,展现层能够很(默认半年)。
容易地与VUEX、ECharts等多种可视化框架集成,能每天定时通过脚本合并当天增量表数据和全量
够实现海量的可视化效果。表前一天分区数据,生成全量表当日分区数据。
(二)数据整合转换
三、实现过程
由于大量的业务系统建设时以“部门级”为主导,
(一)数据接入导致存在大量数据孤岛。因此,直接使用来自业务系
将各业务系统数据进行汇聚整合,保留全量业务统的原始数据会存在数据管理不一致、格式定义不统
原始数据,形成贴源层,也称ODS层。源业务系统数据一、数据无法关联等等问题。为解决该历史难题,国家
通过DataworkDI、DTS、DataHub组件接入MaxCompute电网公司设计了SG-CIM公共数据模型,作为企业公共
贴源层全量表和增量表。该层只对各个来源的数据做信息模型。除了SG-CIM公共数据模型,省市公司结合
汇聚、整合,并没有做过多的加工处理,数据基本还是实际需求,还需要形成满足个性化需要的标准表。
原始结构。贴源层不做业务的解释,更不适合数据的数据整合转换是指贴源层数据经过清洗过滤、编
分析、挖掘。码转换、数据整合等工作后,在数据中台共享层以标
-CIM模型表存储,并定时更新。数据整合转
针对数据量较小(小于50M),全量数据抽取对源换包括两个方面:(1)模型表整合转换,按照SG-CIM
129
--
万方数据
—一匪巫燕蛟鸦爻监⋯⋯⋯⋯⋯⋯⋯⋯⋯’勘能模瑛⋯⋯⋯⋯⋯⋯⋯⋯⋯一什芾韑丶副阬ā行膌惴駆数据服务接口调用骋蝗ㄏ藜数据可视化分析层企业门户统一接入数据汇聚与服务层基于数据中台的财务大数据可视化分析页面构建
模型,经过整合转换后在共享层生成物理模型表。(2)式等要求,利用DataWorks数据服务功能,以向导模
基于贴源表,按照标准表设计规范,经过清洗转换后式、自定义SQL脚本模式,将计算后的结果封装为JSON
在共享层生成自定义表。等格式的数据交换格式数据。
。将封装的数据服务发布至API
基于SG-CIM统一数据模型设计的物理表结构,网关,利用API网关对发布的数据服进行授权访问配
按照模型表命名规范,通过DataWorks在数据中台共置,并利用数据服务调用测试工具,对数据服务接口
享层创建物理模型表。对于模型中的字段,不允许缺调用进行测试。
失或进行更改。数据服务发布后,按照API接口说明表,服务消
结合物理模型的字段映射和字段关联关系标准,费者能够在任意终端(APP、PC、大屏等)消费。
从业务含义上开展源业务系统的表及字段溯源,并
结合实际业务配置完成贴源表与模型表的字段映射
或字段关联处理逻辑等转换规则。
基于转换规则配置,通过定时(按日)执行数据整图3数据服务发布流程图
合转换脚本,将贴源层全量数据表在共享层共享区整(五)分析展示
合落地。分析展示是指,基于分析层数据,通过报表展示
,旨在把一
基于标准表物理表结构设计,通过DataWorks在些统计性、结论性、预测性数据通过可视化框架(We-
数据中台共享层创建物理表,自定义表创建要按照标bGL、VUEX、ECharts、Mapbox、)渲染出来。数据
准表开发规范创建。可视化框架通过API接口,将后台传送的JSON数据,
结合自定义表的字段映射和字段关联关系标准,以多种浏览器、大屏兼容的方式进行展示。
从业务含义上,开展源业务系统的表及字段溯源,并常见的数据应用方式有:一是数据大屏,将数据
结合实际业务,配置完成贴源表与模型表的字段映射可视化,提供业务决策支持;二是数据报表,对数据进
或字段关联处理逻辑等转换规则。行分析计算,通过表格、图像等形式展现。
(三)数据计算分析以ECharts为例,ECharts以一个纯Javascript的图
数据计算分析是指基于共享层模型数据而进行表库生成的界面可以不经过修改流畅运行在如PC、
分析计算,使用封装好的数据分析服务及算法模型服Pad、大屏等常见设备上,兼容当前绝大部分浏览器。
务,将数据通过DataWorks数据集成同步至分析层数其底层通过轻量级的矢量图形库ZRender,提供直观、
据库中,形成统计指标结果、主题关联宽表等,供应用交互丰富、可高度个性化定制的数据可视化图表。
分析使用。其中,Vi组件为数据处理流程的起始点,负同时,用户点击任何统计结果数据,即可穿透至明
责调度任务;Sq节点完成数据计算;Di节点将计算结细数据展示页。根据调用规模采用不同方式,当单个数
果写入分析层数据模型。据服务返回结果超过2000条或大小超过5Mb时,使
(四)数据服务用数据分页查询机制,通过构建带分页功能的数据服务,
数据服务是指将分析层计算结果数据封装为业务应用调用数据服务时指定分页页数和每页数据条
WebService、Restful等类型的数据服务API,发布注册数参数,通过多次调用就可完成全部数据结果查询。
至API网关,在API网关组件上对发布的API进行调
结语
用授权许可,消费方与服务方能够互相信任,使得使
用者只需关注API本身的查询逻辑,无须关心运行环本文设计并实现了基于数据中台的大数据开发
境等基础设施,数据服务会准备好计算资源,支持弹及展示的全过程,通过对财务大数据的分析展示,可以
性扩展,实现零运维成本。清楚地看到对孤岛数据进行加工处理后数据变得清
如图3所示,数据服务发布流程包括:晰、简洁,从而可以帮助用户更好地获取重要信息,将
。按照数据请求参数、数据返回格数据转化为生产力。
参考文献:
国家电网有限公司互联网部泛在电力物联网建设大纲北京国家电网有限公司,
[1].[R].:2019.
[2]MaxCompute[EB/OL]..
[责任编辑柯黎]
130
--
万方数据
Ⅲ数据表数据服务网关、