基于hadoop平台云计算构建与日志分析.pdf

:篢
导师签名:佩日期:加,≯年≥月/∥日作者签名:易’荔留作者签名:乏该当2矽/许弓月/‘日哈尔滨理工大学硕士学位论文原创性声明哈尔滨理工大学硕士学位论文使用授权书不保密门保密本人郑重声明:此处所提交的硕士学位论文《基于平台的云计算构建与日志分析》是本人在导师指导下,在哈尔滨理工大学攻读硕士学位期间独立进行研究工作所取得的成果。据本人所知,论文中除已注明部分外不包含他人已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体,均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。日期:《基于平台的云计算构建与日志分析》系本人在哈尔滨理工大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔滨理工大学所有,本论文的研究内容不得以其它单位的名义发表。本人完全了解哈尔滨理工大学关于保存、使用学位论文的规定,同意学校保留并向有关部门提交论文和电子版本,允许论文被查阅和借阅。本人授权哈尔滨理工大学可以采用影印、缩印或其他复制手段保存论文,可以公布论文的全部或部分内容。本学位论文属于在年解密后适用授权书。朐谝陨舷嘤Ψ娇蚰诖颉
基于平台的云计算构建与日志分析摘要云计算是一种新型计算模型,它将计算任务分布在大量计算机构成的资源池里,使用户能够按需获取计算能力、存储空间和信息服务。与传统的数据处理模式相比,云计算技术可以有效解决大规模数据处理面临的性能瓶颈问题,提高了数据处理的可靠性及可扩展性,提高了数据处理能力的同时降低了计算对硬件设备的要求。本文对云计算概念、种类、关键技术等进行了重点研究。是一个开源分布式计算平台,它专为处理大规模数据和分布式计算而设计,是实现云计算的主要可选方式之一。平台具有高效、可靠、扩展性强等特点,它的两个主要组成部分是分布式文件系统和并行处理模型1疚亩訦募父龇矫妫荷杓魄疤嵊肽勘辍⑻逑到峁埂保障可靠性措施和提升性能措施以及募父龇矫妫郝呒P汀⒈喑模型、实现机制以及执行流程的细致分析和研究。在分析了原有海量数据处理系统之后,结合云计算技术和的优势,建立了一个新的数据处理模型,依据该模型搭建了系统平台,并使用罩作为源数据进行了平台上的性能分析。通过实验对比,总结了利用云计算技术,使得日志分析过程在消耗时间上大大缩短,并且随着数据量的增大,平台的处理能力和数据存储能力也在适应着数据量的变化,恰恰体现了云计算技术在处理大规模数据时计算能力、存储空问等按需提高的优势。基于平台的云计算环境在处理大规模数据方面解决了传统数据处理方法计算能力与存储能力的性能瓶颈问题,并且良好的可扩展性使得这种能力可以灵活的使用。关键词云计算;;;蝗罩疚募哈尔滨理工人学工学硕二貉宦畚
瑂,..瑃琣,,,.瑂,瑃琫.,,瓾琲疭甀簂.,琣哈尔滨理工大学工学硕士学位论文
刑。狃琣瓸,,,琹..
目录摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第滦髀邸研究背景及意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯国内外研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第略萍扑阆低臣肮丶际酢云计算概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯云计算服务的种类⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.∩枋┘⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第翲T丛萍扑闫教ā概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯........................................................................................................................宦畚
.⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.第略萍扑闶荽砟P蜕杓啤需求分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.设计思想⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.模块设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..!第略萍扑闶荽砥教ú