Hadoop集群部署文档.doc

Hadoop集群部署文档
By Superxgl
分布式运行模式
下面的内容我们将重点介绍hadoop分布式模式如何部署。
机器说明
本文使用四台机器搭建集群环境,机器名分别为master,slave01,slave02,slave03,可通过切换到root用户执行# hostname -v new_host_name来更改域名。四台机器均安装CentOS (其它 Linux 发行版亦可)。
用机器名Ping通机器
确保各台机器之间网络畅通,机器名与 IP 地址之间解析正确,从任一台机器都可以 ping 通其它机器的机器名。如有机器名的解析问题无法ping通,可通过设置/etc/hosts 文件解决,当然更好的解决方法是在你的网络中配置 DNS 服务器。在这里我们通过设置/etc/hosts 文件来解决机器名的解析问题。master,slave01,slave02,slave03的/etc/hosts 文件的设置如下图:
$ su –
#vi /etc/hosts
我们将使用 master 作为分布式文件系统 HDFS 的 Name Node及 MapReduce 运行过程中的 Job Tracker 结点,我们将master称之为主结点。其它三台机器(slave01,slave02,slave03) 作为 HDFS 的 Data Node 以及 MapReduce 运行过程中的 Task Tracker 结点,这些结点可统称为从结点。如你需要部署更多的机器,也是很容易的,将新加入的机器作为 Data Node以及 Task Tracker 结点即可,其配置过程与本文介绍的四台机器的环境类似,此不赘述。
新建系统hadoop用户
Hadoop要求所有机器上hadoop的部署目录结构要相同,并且都有一个相同的用户名的帐户,所以需要每台机器建一个同名的用户。如hadoop, 或直接使用 root 帐号亦可。在这里我们推荐使用普通账户hadoop。在这4台机器上建hadoop用户,密码:superxgl,默认路径/home/hadoop/。
配置SSH
目的
在 Hadoop 分布式环境中,Name Node (主节点) 需要通过 SSH 来启动和停止 Data Node (从结点)上的各类进程。我们需要保证环境中的各台机器均可以通过 SSH 登录访问,并且 Name Node 用 SSH 登录 Data Node 时,不需要输入密码,这样 Name Node 才能在后台自如地控制其它结点。所以需要设置namenode到其他3台datanode的无密码公钥认证方式的SSH。
操作步骤
现在流行的各类 Linux 发行版一般都安装了 SSH 协议的开源实现 OpenSSH, 并且已经启动了 SSH 服务, 即这些机器缺省应该就是支持 SSH 登录的。如果你的机器缺省不支持 SSH, 请下载安装 OpenSSH。
以下是配置 SSH 的无密码公钥认证的过程。首先,在 master机器上执行命令,如下代码所示:
[******@master~] $ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which