基于Hadoop平台的云计算构建与日志分析.pdf

Classified Index:TP399 Dissertation fortheMasterDegree inEngineering The puting Based on Hadoop Candidate: Supervisor: Platform andLog Analysis Academic Degree Applied for: Specialty: Date ofOral Examination: University: Wang Hongyu Sun Bowen Master puter System Strcture March,2012 Harbin University ofScience and Technology 哈尔滨理工大学硕士学位论文原创性声明本人郑重声明:此处所提交的硕士学位论文《基于Hadoop平台的云计算构建与日志分析》是本人在导师指导下,在哈尔滨理工大学攻读硕士学位期间独立进行研究工作所取得的成果。据本人所知,论文中除已注明部分外不包含他人已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体,均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。作者签名:易’荔留日期: 矽/许弓月/‘日哈尔滨理工大学硕士学位论文使用授权书《基于Hadoop平台的云计算构建与日志分析》系本人在哈尔滨理工大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔滨理工大学所有,本论文的研究内容不得以其它单位的名义发表。本人完全了解哈尔滨理工大学关于保存、使用学位论文的规定,同意学校保留并向有关部门提交论文和电子版本,允许论文被查阅和借阅。本人授权哈尔滨理工大学可以采用影印、缩印或其他复制手段保存论文,可以公布论文的全部或部分内容。本学位论文属于保密I] 在年解密后适用授权书。不保密门(请在以上相应方框内打√) 作者签名:乏该当日期:沙/2年名月/‘日导师签名:佩日期:加,≯年≥月/∥日哈尔滨理工人学工学硕二}:学位论文基于Hadoop平台的云计算构建与日志分析摘要云计算是一种新型计算模型,它将计算任务分布在大量计算机构成的资源池里,使用户能够按需获取计算能力、存储空间和信息服务。与传统的数据处理模式相比,云计算技术可以有效解决大规模数据处理面临的性能瓶颈问题, 提高了数据处理的可靠性及可扩展性,提高了数据处理能力的同时降低了计算对硬件设备的要求。本文对云计算概念、种类、关键技术等进行了重点研究。 Hadoop是一个开源分布式计算平台,它专为处理大规模数据和分布式计算而设计,是实现云计算的主要可选方式之一。Hadoop平台具有高效、可靠、扩展性强等特点,它的两个主要组成部分是Hadoop分布式文件系统HDFS和并行处理模型MapReduce。本文对HDFS的几个方面:设计前提与目标、体系结构、保障可靠性措施和提升性能措施以及MapReduce的几个方面:逻辑模型、编程模型、实现机制以及执行流程的细致分析和研究。在分析了原有海量数据处理系统之后,结合云计算技术和Hadoop的优势, 建立了一个新的数据处理模型,依据该模型搭建了系统平台,并使用Web日志作为源数据进行了平台上的性能分析。通过实验对比,总结了利用云计算技术, 使得日志分析过程在消耗时间上大大缩短,并且随着数据量的增大,Hadoop平台的处理能力和数据存储能力也在适应着数据量的变化,恰恰体现了云计算技术在处理大规模数据时计算能力、存储空问等按需提高的优势。基于Hadoop 平台的云计算环境在处理大规模数据方面解决了传统数据处理方法计算能力与存储能力的性能瓶颈问题,并且良好的可扩展性使得这种能力可以灵活的使用。关键词云计算;Hadoop;HDFS;MapReduce;日志文件哈尔滨理工大学工学硕士学位论文 The puting Based OnHadoop Platform and Log Analysis Abstract puting is akindof new typed calculation model,the puting tasks in a pool puter resources,enabling users to access puting power,the storage space and information services when they withthetraditionaldataprocessing mode,puting technology Can effectively solve themass data processing facesperformance bottlenecks and to improve thereliability of