hadoop集群部署.doc

Hadoop集群部署
目录
1 部署环境准备 3
硬件及操作系统 3
网络配置规划 4
网络配置实况 6
2 依赖软件安装 7
软件包准备 7
JDK安装 7
SSH设置 9
3 HADOOP部署 12
控制节点部署 12
12
13
15
数据节点部署 15
4 HADOOP启动 16
格式化HDFS 16
启动hadoop 17
验证hadoop 18
停止hadoop 18
5 常遇故障 19
没格式化直接启动 19
防火墙阻止程序运行 19
多次格式化后,导致datanode无法启动 20
Warning:$HADOOP_HOME is deprecated. 22
部署环境准备
硬件及操作系统
Hadoop要求机器的数量多,但对机器的配置要求不高。可以是物理机,也可以是虚拟机,普通的PC机配置就可以了。本次部署使用的是2台虚拟机和一台物理机:在安装windows7操作系统的PC(、内存2G)上通过VMWare配置出2台Linux ,由于虚拟第3台时内存不够,。
VMWare安装虚拟机参考:
http://wenku./view/a3da25f3770bf78a64295403
虚拟机配置情况:
[******@centosc ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq –c
1 Pentium(R) Dual-Core CPU E5800 @
[******@centosc ~]# cat /proc/version
Linux version - (******@.) (gcc version 20120313 (Red Hat -4) (GCC) ) #1 SMP Fri Nov 22 00:26:36 UTC 2013
[******@centosc ~]# getconf LONG_BIT
32
物理机配置情况:
网络配置规划
虚拟机的宿主机(即安装windows7操作系统的PC),进行网络配置,虚拟机也要分配独自的IP地址。虚拟机网络配置参考:http://wenku./view/ba20e8d033d4b14e852468af
机器名和分配的IP地址如下:
centos6: (Namenode和Jobtracker 物理机)
centosa: (Datanode和Tasktracker 虚拟机)
centosc: (Datanode和Tasktracker 虚拟机)
【注】对于HDFS来说,节点分为Namenode和Datanode,其中Namenode有且只有1个,Datanode可以有1个或很多个;而对于MapReduce来说,节点分为Jobtracker和Tasktracker,其中Jobtracker有且只有1个,Tasktracker可以有1个或很多个。一般Namenode部署在一台机器,Jobtracker部署在一台机器,Datanode和Tasktracker部署在同一台机器上。本次将Namenode和Jobtracker也部署在一块。补充一点官方的资料如下――
Hadoop Running Mode:
Standalone (or local) Mode: no daemons, run in a single JVM: local filesystem + local MapReduce job runner
(2) Pseudo-distributed Mode: daemons run on the local machine: HDFS + MapReduce daemons
(3) Fully distributed Mode: daemons runs on a cluster of machines: HDFS + MapReduce daemons
To run Hadoop in a particular mode, you need to do two things: set t