hadoop集群的自动化部署.doc

安徽农业大学毕业论文(设计)论文题目Hadoop集群的自动化部署研究姓名周云扬学号院系信息与计算机学院专业网络工程指导教师朱军职称副教授中国·合肥二〇一四年五月安徽农业大学学士学位论文(设计)开题报告课题名称Hadoop集群的自动化部署研究课题来源自拟学生姓名周云扬专业10网络工程学号指导教师朱军职称副教授研究内容(1)系统安装:熟悉linux系统的安装过程,搭建自动化安装平台cobbler,了解dhcp,pxe,kickstart,远程管理idrac。通过网络安装实现批量自动化部署,修改kickstart的配置文件可定制自己需要的系统。(2)hadoop环境部署:在cobbbler的基础上使用ApacheAmbari部署管理Hadoop,通过web界面安装向导简化了集群部署过程。研究计划1月初~2月底:熟悉以往的生产环境部署过程,提出改进过程。3月初~3月低:根据提出的改进过程,调研可行方案,并确定最终方案。4月初~4月低:部署测试和自动化安装平台和集群环境。5月初~5月中:测试整个平台的的易用性和稳定性。5月低:撰写毕业设计论文,准备毕业论文答辩。特色与创新(1)适用于大规模集群部署,提高效率,节省用户时间。(2)用户可以很方便的管理和控制集群并有效地查看信息。指导教师意见同意开题教研室意见同意开题院系意见主要领导签名:年月日目录1引言 12自动化部署工具介绍 13COBBLER的安装部署和配置以及使用 84使用AMBARI部署HADOOP -SERVER服务 195结束语 26参考文献 26英文摘要 27致谢 27Hadoop集群的自动化部署研究学生:周云扬,指导教师:朱军(安徽农业大学信息与计算机学院合肥)摘要:Hadoop作为当下最主流的大数据分布式计算平台,已成为当前互联网企业主流的选择。集群的规模也越来越大,在集群上线前期,部署通常要占用大量的时间和精力。为了有效地部署和管理大规模的集群计算节点,本文通过cobbler和ambari这两个开源软件的使用完成hadoop集群的自动化部署。Cobbler主要是完成前期系统环境的自动化部署,通过定制kickstart文件来配置合适的系统环境。ambari是对hadoop进行监控、管理和生命周期管理的基于网页的开源项目。当集群的节点达到几十或成百上千个的时候,Ambari可以使安装hadoop集群,管理hadoop集群服务,监控集群变得很方便,节约了大量的人力和时间。关键词:cobbler,ambari,自动化部署,hadoop集群引言Hadoop作为分布式计算平台,虽然可以很容易的处理海量数据,但是部署步骤较为繁琐。官方上的部署文档一般是配置免秘钥登录、配置jdk、修改相关配置文件,再分发几台到节点服务器上。几个节点的集群从系统安装好到集群部署完成需要几个小时,相关服务无法启动的话还需要慢慢排错,意味着集群投入使用需要更长的时间。每次部署如果都手动部署环境的话会非常麻烦,手工部署显得效率低,容易出错。因此,自动化部署集群显得更适合大规模集群上线的情景,而且只需配置一次,测试成功后以后都可以使用。自动化部署介绍生产线环境一般包括两部分,系统和应用。系统是基础,应用是重点。自动化部署应该包含这两部分,本文会用到以下自动化工具。(1)Cobbler:Redhat最新发布的的自动化部署系统工具,可以管理dhcp,tftp,更重要的是它可以针对特定mac地址服务器作设置,这样安全性大大提高。还提供了web接口和API,操作起来更简单同时也便于二次开发。(2)Ambari:hadoop的管理平台,同时也方便hadoop的部署。类似的还有CloudManager,。支持一键安装各种组件,如hbase、hive、pig等等。因为这些组件中也是分布式的,部署的流程是基于hadoop环境搭建好,所以也比较麻烦。更值得注意的是,它可以帮助我们很轻松的安装ganglia和nagios,这样有助于我们观察子节点的状态,如datanode读写数据,内存,磁盘等等资源使用情况。方便我们对配置作调整,进一步优化集群。Cobbler的部署和使用Cobble