Hadoop平台数据挖掘技术研究-论文.pdf.pdf

皇皇里!垦_R皇里堑竺tHadoop平台数据挖掘技术研究摘要:随着信息时代的不断发展,互联网产生的数据以爆炸性的态势不断增长。传统的单片机计算机体系结构在如此大量的数据面前显得力不从心,云计算为大型数据的处理提供了新的解决方案。Hadoop..***@Apache基金会的开源项目之一,~Mapreduce、HDFS、HBase、pig等于项目于一身,展示出了卓越的计算、处理与调度能力。关键词:Hadoop~-台;数据挖掘;云计算基~。Hadoop是apache提供的一个便于编写和运行处理大数据的软件平台,HDFs是HadoopDistributedFileSystem的缩写,~PHapoop分布式文件系统,所谓的分布式计算存储的技术支持。云计算的发展以商业为主导,它的核心与其说是计算不如说它是一种服务,这种服务大规模、虚拟化、通用性的特点使其在基础设施即服务、平台即服务、软件即服务上大量应用。。云是一个强大的组合,将计算、网络、存储、管理解决方案以业务应用全部包括其中,完善了新一代的IT和消费服务,且不影响安全性和功能,Hadoop的多个组成子项目HDFS分布式文件系统、MapReduce分布式编程框架、HBbse分布式数据库等等,这些子项目以HDFS为基础,独立解决问题又相辅相成。二、Hadoop~台数据挖掘技术的实现Hadoop平台采用并行计算的方法、分布式存储结构来组成数据计算系统,并且利用成本低廉的PC机组成一个容量大的集群,在此基础上组成一个能够储存、处理大量数据的分布式的计算系统,从而实现大量数据的高效挖掘,最终实现计算机的云计算。另外,Hadoop平台采用开放式的源代码,以方便系统的再次开发,从而能够根据更多人的需求,更新程序,满足更多人的特定需求。针对Hadoop平台数据挖掘技术的实现,我们可以具体的进行以下的设计:首先,选一个合适的编程模型,具体来讲,可以采用MapReduce的编程模型,这是一种相对简单的编程模型,在海量数据的计算处理方面有很大的应用。同ttgMapReduce具有很大的优点,比如:编程简单、易于扩展、容错性比较好等。MapReduce能够将?昆乱庞大的的数据系统划分为两个阶段,即:Map和Reduce阶段,而且在处理过程中只需要移动计算的方式即可,利用拥有众多优点的MapReduce编程模型作为设计Hadoop平台的载体,是非常有前途的选择。其次,根据市场需求来设计所需要的前台模块。如今市场上无论各行各业竞争相对都比较激烈,尤其是在如今计算机技术的飞速发展,各大高校计算机人才的扩招,国家提倡◆黄铭陈明高新技术产业发展的大背景下,计算机行业的竞争也是越来越激烈,而想要在日益激烈的市场竞争中争得~席之地,必须把握市场规律,掌握市场技巧,要是铲平有销路,则必须以客户需求为导向,从客户需求出发,设计出满足客户需求的产品。因此在设计平台的时候必须先进行用户需求分析,在真正了解了客户需求的基础上,再进行相关软件的开发。最后,进行Hadoop平台具体的设计。就总体而言,在设计基于Hadoop平台的数据挖掘系统的时候可以采用自上而下分层的思维模