Hadoop集群部署方案.doc

Hadoop集群部署方案目录1. 网络拓扑 12. 软件安装 . 修改主机名 . 修改host文件 . 创建Hadoop用户 . 禁用防火墙 . 设置ssh登录免密码 . 安装hadoop 43. 集群配置 . 修改脚本 . hadoop- . yarn- . 配置文件 . core- . hdfs- . mapred- . yarn- . 配置datanode . 创建目录 134. 启动zk集群 145. 启动hadoop . 启动所有节点journalnode . 格式化h1namenode . 在h1上格式化ZK . 启动h1的namenode,zkfc . 启动h2上namenode . 同步h1上的格式化数据到h2 . 启动HDFS . 启动YARN . 启动h2ResourceManager . h4上启动JobHistoryServer . 查看ResourceManager状态 196. 浏览器访问 . namenode管理界面 . :50070 . :50070 . ResourceManager管理界面 . :8088/ . :8088/ . JournalNodeHTTP服务 . :8480/ . DatanodeHTTP服务 . :50075/ . jobhistory管理界面 . :19888/jobhistory 227. 测试 . 上传文件至hdfs . 验证hdfsHA . 验证yarn (active)是(standby)否否Datanode是是是是ResourceManager是是否否NodeManager是是是是zkfc是是否否Journalnode是是是否JobHistory否否否是软件安装修改主机名修改四台机器的主机名,h1,h2,h3,h4查看是否修改成功uname-a 修改host文件修改三台机器/etc/hosts文件配置hadoop节点配置zk节点创建Hadoop用户创建特定的Hadoop用户帐号以区分Hadoop和本机上的其他服务。sudogroupaddhadoopuseraddhadooppasswdhadoopusermod-a-Ghadoophadoop给hadoop用户添加权限,打开/etc/sudoers文件:在 root ALL=(ALL)ALL后面添加 hadoop ALL=(ALL)ALL禁用防火墙chkconfigiptablesoff设置ssh登录免密码Hadoop控制脚本(并非守护进程)依赖SSH来执行针对整个集群的操作。例如,Namenode是通过SSH(SecureShell)来启动和停止各个datanode上的各种守护进程的为了支持无缝式工作,SSH安装好之后,需要允许hadoop用户无需键入密码即可登陆集群内的机器。最简单的方法是每个机器创建一个无密码公钥/,~/.ssh/authorized_keyssudochmod700~/.ssh测试是否设置成功sshh1对h2、h3、h4这几个节点上的hadoop用户也配置ssh,配置过程和上述在h1上一样在h2、h3、h4这几个节点上都执行一次“cat~/.ssh/|******@h1'cat>>~/.ssh/authoriz