大数据与政府治理现代化.ppt

大数据与政府治理现代化哈尔滨工业大学管理学院《公共管理学报》主编米加宁教授 mijianing@ 讲座的内容?什么是大数据? ?大数据时代给我们提供了什么机遇? ?政府治理的现代化一、什么是大数据? ?大数据( Big data )通常用来形容大量的非结构化和半结构化的数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。?大数据与海量数据( large-scale data or vast data ) 有区别,后者是结构化和半结构化的交易数据,大数据包括交易和交互数据集在内的所有数据集,其规模和复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。大数据由海量交易数据、海量交互数据和海量数据处理等三大趋势汇聚组成。?数据量大:至少达到 PB 级别。从GB-TB-PB- EB-ZB-YB 。如: 2006 年,个人用户才刚刚迈进TB 时代, 全球一共新产生了约 180EB 的数据; 在 2011 年,这个数字达到了 ;2020 年, 将再扩大 50倍。?挖掘实时性: 数据的价值是建立于对数据的实时分析基础之上的,不同于“决策支持”时代的批量式数据分析, 要在数据产生的同时挖掘其价值并实时推荐给客户。?数据类型多: 每年诸如邮件、图片、视频、微博、帖子、手机呼叫、网页点击、地理位置信息等非结构化数据增长率达 80% 。社交网络→UGC ;物联网→地理;电商→点击。?价值密度低: “低”是针对特定的用户而言的。如物联网视频,在连续不间断的监控录像中,可能对某一客户有用的数据只有一两秒。 UGC 的灌水数据也有类似特点。“大数据”研究受到重视:美国?2012 年3 月,美国奥巴马政府宣布投资 2 亿美元启动“大数据研究和发展计划”,这是继 1993 年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。?美国政府认为大数据是“未来的新石油”,将“大数据研究”上升为国家意志,对未来的科技与经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分,对数据的占有和控制也将成为国家间和企业间新的争夺焦点。“大数据”研究受到重视:中国?工信部发布的物联网“十二五”规划上,把信息处理技术作为 4 项关键技术创新工程之一提出来,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。?而另外 3 项关键技术创新工程,包括信息感知技术、信息传输技术、信息安全技术, 也都与大数据密切相关. 结论:数据是资源,网络就是生产力。大数据背后的商业机会?网民自身在网络中的足迹、点击、浏览、反馈, 直接真实地展示个人的性格、偏好、意愿等的一系列数据,对之进行分析,可以帮助企业拥有感知市场、感知用户的能力,以便企业对生产、市场、销售做出更科学的决策,包括目标消费人群的细分和精准营销等。?eBay 通过数据挖掘精确计算出广告中的每一个关键字为公司带来的回报。通过对广告投放的优化, 2007 年以来, eBay 产品销售的广告费降低了 99% ,而顶级卖家占总销售额的百分比却上升至 32% 。大数据背后的商业机会大数据背后的商业机会二、大数据时代提供了什么机遇? ?2007 年,已故的图灵奖得主吉姆· 格雷( Jim Gray )在他最后一次演讲中描绘了数据密集型科研“第四范式”(the fourth paradigm )的愿景。?大数据正在推动科学研究向除了以观察和实验为代表的经验研究、以逻辑分析为代表的理论研究和以模型为代表的计算机仿真研究以外的以大数据的挖掘和分析为代表的研究第四范式过渡。大数据对传统研究方法形成了挑战?面对 PB 级别的巨大规模的数据,所有的模型和假设可能都是错误的,藉助智能数据挖掘技术,我们可以做到没有模型和假设就可以分析数据,将数据丢进巨大的计算机机群中,只要有相互关系的数据, 统计分析算法就可以发现过去的科学方法发现不了的新模式、新知识甚至新规律。?观察各种复杂系统得到的大数据,直接反映的往往是一个个孤立的数据和分散的链接,但这些反映相互关系的链接整合起来就是网络:基因数据构成基因网络,脑科学实验数据形成神经网络,万维网数据反映出社会网络。