基于大数据的最大期望算法研究.doc

基于大数据的最大期望算法研究.doc基于大数据的最大期望算法研究摘要:随着信息化时代的到来,在数据爆炸、多样化以及数据更新快速的时代下, 大数据分析应用日益受到重视, 在商业智慧领域也无法避免, 过去所处理的数据大都是属于结构性, 亦为传统数据库用于协助解决商业行为的数据结构。近年来, 由于数据量大, 数据产生多元化, 对海量数据处理要求及时性和高交互性, 同时要求低误差, 特别是非结构数据的大量形成, 强烈冲击传统数据库的技术与应用, 在大数据应用中由于大数据数据类别多、形成速度快, 人们在使用网上购物、动车订票、筛选影片、现实零售购物、找工作等方面都有一个期望, 为了使这个期望值非常满足人们的需要, 本文先对大数据做一个阐述并就当前大数据环境下, 对使用最大期望算法, 以大学生求职应用为例, 从数据挖掘的角度, 利用数学知识来确定最大期望算法中最大似然估计值并进行了相关研究。确定最大期望算法适合大数据的环境,是大数据环境下数据处理的又一选择。关键词:大数据期望最大化算法中图分类号: TN912 文献标识码: A 文章编号: 1007-9416 ( 2015 ) 04-0124-02 1 引言随着信息化时代的到来, 公共数据和个人数据都在以几何级数的速度增长, 人们对信息数据的需求、海量数据的处理对传统数据挖掘算法的挑战正不可避免, 我们生活在数据时代,全球数据总量的具体数值是难以想象的, 面对海量数据, 人们在工作、学习、生活的每个领域都要从海量的数据中寻找一个理想的期望值。人们在遨游淘宝、微商和各种网上零售购物, 从海量的影片中筛选期望的影片及求职找工作时同时又不同的公司不同的职位进行期望比较。通过数据挖掘, 利用数学知识以大学生求职找工作为例来确定最大期望算法中最大似然估计值来找到期望的工作, 事实证明当前大数据背景下海量数据的处理。从传统的数据挖掘算法中, 最大期望算法适合大数据的数据挖掘,是我们选择处理大数据环境的重要方法。 2 大数据和最大期望算法概述随着公共数据和个人数据呈几何级数的急剧增长, 大数据已深入到人们的工作、生活、学习当中。面对海量数据, 我们会感到束手无策, 当我们要对每天的工作进行数据分析, 对每一天在生活中所使用的数据以及在获取知识学习中所产生的数据进行分析时, 都有一个共同点, 就是要满足人们在工作、生活、学习中的需要也就是期望, 我们可以利用数据挖掘中的最大期望算法来实现。 大数据的概述大数据是一个仁者见仁智者见智的广泛概念, 大数据的研究先驱麦肯锡在报告中给出的大数据定义是: 大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。但它同时强调, 并不是说一定要超过特定 TB 值的数据集才能算是大数据。国际数据公司( IDC )从大数据的四个特征来定义,即海量的数据规模( Volume )、快速的数据流转和动态的数据体系( Velocity )、多样的数据类型( Variety ) 、巨大的数据价值( Value )。亚马逊的大数据科学家 John Rauser 给出了一个简单的定义: 大数据是任何超过了一台计算机处理能力的数据量。维基百科中只有短短的一句话:“巨量资料( big data ), 或称大数据, 指的是所涉及的资料量规模巨大到无法通过目前主流软件工具, 在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决