大数据时代统计学面临的机遇与挑战.doc

大数据时代统计学面临的机遇与挑战.doc大数据时代统计学面临的机遇与挑战
耿直
北京大学数学科学学院中国现场统计研究会中国统计学会
X
关注成功!
加关注后您将方便地在我的关注中得到本文献的被引频次变化的通知!
新浪微博
腾讯微博
人人网
开心网
豆瓣网
网易微博
摘    要:
大数据给统计学带来了机遇、挑战和紧迫感。本文描述大数据的环境, 利用大数据的目的和大数据带来的变革;介绍国内外有关大数据的研究动向;探讨大数据包含的信息, 大数据的预处理、抽样和分析方法。
关键词:
大数据; 抽样; 数据分析方法论;
作者简介:耿直, 男, 1956年生, 江苏徐州人, 1989年毕业于日本九州大学, 获理学博士学位, 现为北京大学数学科学学院教授, 中国现场统计研究会理事长, 中国统计学会副会长。研究方向为数理统计学、因果推断。
基金:国家自然科学基金项目“因果推断的统计方法”(批准号11171365) 和“生物统计”(批准号11331011) 的资助
Opportunities and Challenges in the Age of Big Data for Statistics
Geng Zhi
Abstract:
Big data brings opportunity, challenges and urgency for statistics. This paper describes the environments of big data, the goal of big data and the revolution by big data. And it also introduces the research trends for big data at home and abroad. The information, preprocess, sampling and analysis of big data have been discussed.
Keyword:
Big Data; Sampling; Methodology of Data Analysis;
一、引言
在人类利用观察认知自然的方法论发展的历程中, 最初神学、哲学和科学合为一体, 巫术、占星术和宗教是哲学和科学的前身。人类旧石器期用神学解释自然, 根据蛙鸣预测下雨, 用巫术和占星术祈祷、预测和干预自然。中国古代利用阴阳太极图和八卦图作为思辨模型, 分析和解释自然和人文社会的现象。古希腊文明孕育了演绎逻辑、归纳逻辑。文艺复兴前后哲学家提出观察和试验的方法, 培根( F Bacon, 1620, 新工具) 提出通过观察实验, 运用三表法: 存在与具有表、差异表、程度表。穆勒( J S Mill, 1843, 逻辑体系) 提出归纳四法: 求同法、求异法、共变法、剩余法。在统计方法论的发展中, 贝叶斯( T Bayes, 1764) 提出逆概率方法, 利用观察结果推断事件的概率。高尔顿( F Galton, 1886) 将变量间的相关关系进行了形式化, 提出了相关系数, 进一步在相关性的基础上提出了回归预测的方法。皮尔逊( K Person, 1900) 提出了拟合优度检验的方法, 使得人们能够利用概率度量观测现象与科学假说的拟合程度。在此后