大数据时代下统计学面临的挑战.doc

大数据时代下统计学面临的挑战
摘要:传统的统计学是因数据而生的,也是以研究数据为根本目的,传统统计学有其独特的数据收集、整理与分析的方法体系,也确实为我们研究数据带来了便利,但是不得不思考的是在数据爆炸的信息时代,尤其是“大数据”概念产生以后,传统的统计学如果不改变,又将如何应对大数据分析带来的挑战,该文将从零售行业的角度分析大数据为传统统计学带来的诸多挑战。
关键词:总体数据相关性个性化营销定制服务
中图分类号: 文献标识码:A 文章编号:1674-098X(2017)01(a)-0109-02
随着科技的发展,大数据已经成为信息时代的一场技术革命。大数据是指传统数据库管理工具难以处理的大量的、多样化的数据。当前普遍认为大数据有3个特点:第一,数据量非常大;第二,数据增长速度非常快;第三,数据类型越来越多样化[1]。零售业作为传统的线下实体经营行业,积累了大量的消费者以及管理层的数据,如果依靠传统的统计学模型对这些数据进行分析,很难得出可以用于企业经营管理的有效信息,加上年轻一代消费者越来越追求个性化,所以传统统计学所采用的根据部分样本推断总体的分析方法已经无法满足市场的个性化需求,因此,传统统计学要想跟上时代发展的步伐,就必须做出与之相适应的改变。
1 零售行业里大数据与传统统计学的区别
维克多?迈克尔在《大数据时代》一书中提出了大数据思维的3个最显著的变化:一是样本等于总体。这与过去基于样本进行统计分析的思维截然不同;二是不再追求精确性。在大数据中往往存在“噪音”和罕见事件,这样的数据影响了结果的精确性;三是相关分析比因果分析更重要,在大数据时代我们将注意力更多地放在“是什么”而不是“为什么”[2]。大数据的以上特性在零售行业同样适用,零售行业的大数据与传统统计学的区别有以下3点。
第一,大数据收集总体数据,而传统统计学多采用抽样的方式收集部分数据。传统统计学在做统计分析时首先针对某一个问题提出假设,然后确定需要调查对象的总体,由于数据采集存在一定的难度,所以统计分析采取从总体中随机抽样选取一部分数据作为分析的对象,如此的话对随机抽样的方法与数据采集的准确性要求是非常高的。而大数据收集的是数据“总体”,在进行分析的时候不会人为进行假设,排除了人的干扰因素,仅仅从数据本身出发进行数据分析。在零售行业如果能运用大数据思维分析数据,从产生数据的顾客行为本身出发,针对不同顾客做出个性化营销,而不是人为假设的话,管理层就可以根据数据进行预测,避免了主观的经验与直觉的判断。沃尔玛作为零售行业的巨头,运用大数据分析得出的著名的啤酒与尿布理论可以证明这一点。
第二,大数据注重个体行为的研究,统计学用样本数据推断总体行为。传统的统计学采用抽样调查的方式对样本数据进行分析,用样本推断总体,那些在图表上反映出来的异常数据被排除在外。大数据包容一切数据,其中包括各种结构化、半结构化、非结构化甚至是异构数据。对于零售行业而言,顾客的总体行为表现是没有意义的,因为每个顾客的需求不同,在不同的时间和地点需要的商品都不同,只有根据每位顾客的不同行为进行个性化服务才能让线下的零售行业有优势可言。美国高档连锁百货Nordstorm最近开始采用线下实体店客流分析服务供应商Euclid Analytics公司的客流监测解决方案Euclid