Hadoop集群设置文档 hadoop 2.7.3.docx

Hadoop集群设置文档_hadoop_2.7.3Hadoop集群设置文档
Hadoop集群安装
目的
先决条件
安装
安装Hadoop在非安全模式
配置Hadoop Deamons运行环境
配置Hadoop Deamons
监控NodeManagers健康状况
Slaves配置文件
Hadoop机架感知
日志
Hadoop常见操作
Hadoop启动
Hadoop停止
Web接口
Hadoop集群设置
目的
本文档描述如何安装和配置Hadoop集群从几个节点到几千个节点,要使用Hadoop,你可能首先想要在一台机器上安装它。(详见单节点安装)
本文档没有覆盖高级主题,如安全和高可用。
先决条件
Wiki说明的已知好用版本。
从Apache镜像网站下载一个稳定的Hadoop版本
安装
安装一个Hadoop集群,通常包括在集群的所有机器上解压软件并安装,或通过适合您操作系统包管理系统进行安装。把硬件分成不同的功能模块是非常重要的。
通常在集群里面,一台机器被指定为NameNode,另一台机器作为ResourceManager,他们两个是主服务节点,其他服务(如:Web App Proxy服务和MapReduce Job History 服务)经常运行在专用硬件或者共享硬件之上,具体因负载而定。
集群里其他的机器作为DataNode和NodeManager,这些是从服务节点。
配置Hadoop在非安全模式
Hadoop的Java配置被分为两类重要配置文件:
默认配置core-, hdfs-, yarn- 和mapred-
特定配置etc/hadoop/core-, etc/hadoop/hdfs-, etc/hadoop/yarn- 和etc/hadoop/mapred-.
此外,你可以通过etc/hadoop/hadoop- 和etc/hadoop/yarn-,设置特定值来控制Hadoop的bin/分发目录,
要配置Hadoop集群,首先你要配置Hadoop deamons执行所需的环境参数。
HDFS deamons包括NameNode,SecondaryNameNode和DataNode,YARN deamons包括ResourceManager,NodeManager和WebAppProxy。如果使用MapReduce,还需要运行MapReduce Job History Server。在大型集群环境,这些组件都是运行在独立的机器上。
配置Hadoop Deamons环境变量
管理员首先要使用etc/hadoop/hadoop- etc/hadoop/mapred- 和etc/hadoop/yarn- 脚本来做Hadoop deamons 程序运行环境的定制工作。
至少,你必须修改JAVA_HOME,并确保已经在所有远端节点上配置正确。
管理员可以根据下面表中的选项单独配置每个模块的参数。
守护进程
环境变量
NameNode
HADOOP_NAMENODE_OPTS