Hadoop 三台主机 集群搭建 详解.doc

部署环境:
OS:Redhat Enterprise
JDK:
Hadoop:Hadoop-
VMWare:
节点安排及网络拓扑:
节点类型节点IP 节点hostname
master节点 master
slave节点 master(此时,master既是master节点,也是slave节点)
salve1
slave2
master(此时,master既是master节点,也是slave节点,也是secondaryNameNode)
配置步骤:
一、网络配置
首先关闭三台虚拟机的防火墙,步骤可参考:关闭防火墙
先用VMWare安装三台虚拟机(可以先安装一台,然后clone两台),按照节点安排及网络拓扑配置网络,先配置master节点的网络:
①静态网络IP配置见VMware Redhat网络配置,分别将三台虚拟机的IP进行设置
②修改主机名:vi /etc/hosts(解析IP要用),添加
master
slave1
slave2
③按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置
二、安装jdk
Hadoop 是用java开发的,Hadoop的编译及mapreduce的运行都需要使用JDK,所以JDK是必须安装的
①下载jdk,hnetwork/java/javase/downloads/
②在用户根目录下,建立bin文件夹:mkdir ~/bin(也可放在其他处,个人习惯而已)
③改变执行权限:chmod u+x jdk-6u26-linux-
④执行文件:sudo -s ./jdk-6u26-linux-,一路确定
⑤配置环境变量:vi ~/.bash_profile,添加:
export JAVA_HOME=/root/bin/
export PATH=$PATH:$JAVA_HOME/bin
⑥使profile文件生效:source ~/.bash_profile
⑦验证是否配置成功:which java
[******@master ~]# which java
/root/bin/ 配置生效。也可输入java -version, java, javac进一步确定
⑧分别相同配置另外两台主机
<JDK Installation End>
三、建立ssh互信
hadoop 需要通过ssh互信来启动slave里表中各个主机的守护进程,所以SSH是必须安装的(redhat Enterprise 以默认安装)。但是是否建立ssh互信(即无密码登陆)并不是必须的,但是如果不配置,每次启动hadoop,都需要输入密码以便登录到每台机器的Datanode上,而一般的hadoop集群动辄数百或数千台机器,因此一般来说都会配置ssh互信。
①生成密钥并配置ssh无密