统计大数据治理与应用.pdf

统计大数据的治理与应用
华通人公司 CEO 白欢朋
统计大数据治理
我们身边的统计
2007-2010年为年主营业务收入在500万元以上
的工业企业
2006年以前为全部国有及年主营业务收入在500
万元以上非国有工业企业自2011年起,工业统计范围调整为年主营业务
收入2000万元以上的工业企业
统计无处不在,善于解读、分析、运用统计指标,将为科学决策和管理提供重要的数据支撑;但如果对统计指标的理解不够透彻,
就会产生疑惑甚至是统计误用。如:
工业增加值的统计范围是规模以上工业企业,所以工业增加值增速严格意义上是指规模以上工业企业增加值增速,但经常被使
用者认为是全部工业企业增速。
有些数据使用者对工业增加值增速波动大,产生疑惑,但很少有人全面了解规模以上工业企业的划分标准经历了三次调整。
统计大数据与政府工作
•产业升级
行业进出口能源
……•产业结构调整
数据数据数据经济发展
•招商引资
•污染治理
资源排放气象
……•资源调控
数据数据数据环境保护
•灾害防治
•社会保障:医疗、教育、养老
人口就业医疗
……•交通
统计大数据数据数据民生服务
•物价
数据•城镇化建设
房地产建筑业交通
……
数据数据数据城市建设•城市基础设置建设
•房地产供给
•流动人口管理
流动人治安灾害
……
口数据数据数据安全维稳•治安
•重大事件应急管理
……
问题与现状
数据使用难数据管理难
•领导决策中,所需报表需要手工制作•数据以电子文件或孤立系统的形式分
手工传输,效率低散于各个部门,形成数据孤岛
•公众只能通过传统数据产品或网上下•不同数据版本存在于各个电子文件中,
载电子表格文件查询数据,使用繁琐导致数据使用出现误差,造成不必要
•内部用户使用数据亦需要通过多个电的麻烦
子文件进行手工组合,效率低易出现•缺失兄弟省市数据,不利于比较
错误
核心痛点:数据融合与管理
数据统一存储和管理,打破数据孤岛
•所有数据按照大数据架构进行统一存储和管理,打破部门壁垒实现数据的整合
•提升数据存储的安全性,避免因人员变动和设备故障导致数据的遗失和使用误差
将文件流转化为信息流,提升数据管理的效率
•将文件转化为数据库中的数据,方便进行各种数据质量的检验,及时发现问题提升管理效率
•数据从采集到管理,全程可追踪监控,提升流程管理效率
强化历史数据和数据版本的管理,提升数据质量
•对数据多次变更进行版本管理,避免版本无用导致的数据管理事故
•实现历史数据追溯和管理,提升数据实用价值
核心痛点:提升数据易用性
快速支持领导科学决策的数据需求
•通过PC端和手机端简单易用的查询快速查找决策所需数据
•通过PC端和手机端查询统计局制作并推送的各种报表
为公众提供生动实用的政府数据公开服务
•通过PC端和手机端生动便捷地获取各种统计数据,引导经济和民生建设合理预期,健康发展
为各委办局提供数据共享服务
•通过PC端和手机端增强各部门之间的数据共享,变单向输出为互动共享,促进数据交流积极性
为局内提供专业使用的数据应用平台
•提供专业灵活的数据查询和交叉制表,支持各种核算
•提供系统化的数据产品(如:年鉴、月报、季报等)制作,提升工作效率
数据治理要素与实施
数据质量提升是目标
计划、制度与标准规法主数据管理是关键
Plan & Rule & Standards
元数据管理是基础
数据治理流程
数据治理
监
控
数据采集与使用
建立数据标准
制定数据管理流程
形成平台与工具
SDMX标准
SDMX(Statistical Data and Metadata Exchange)标准始于2001年,由国际清算银行、欧洲中央银行、欧盟统计局、国际货币基
金组织、经济合作和发展组织、联合国和世界银行等7个国际组织发起并资助建立的,其目的是促进统计数据及其元数据在国际组织及
其成员国之间进行交换和共享。
UNSD
World Bank