hadoop集群部署-笔记.doc

hadoop集群部署1)安装jdk下载jdk-6u21-linux-:exportJAVA_HOME=/usr/local/jdk exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH exportPATH=$PATH:$JAVA_HOME/bin 保存,并执行source/etc/profile2)配置hostnamenode的机器,需要配置集群中所有机器的ip修改/etc/ master  slave-A  slave-B 其他的datanode的/etc/ master  slave-A 修改hostname(可选)vi/proc/sys/kernel/hostname3)建立ssh无密码登录首先进到root目录下 ******@master:~#$ssh-keygen -t ******@master:~/.ssh# ******@slave-A:~# 在name(master)上远程拷贝******@master:~/.ssh#scpauthorized_keysslave-A:/root/.ssh/ 测试ssh4)安装hadoop下载Hadoop解压到每台服务器的/data/soft解压******@master:/data/soft#tarzxvfhadoop- 建立软连******@master:/data/soft#ln-shadoop- 然后修改/etc/profileexportHADOOP_HOME=/data/soft/hadoop exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 5)-,添加jdk支持exportJAVA_HOME=/usr/local/jdk 如果ssh端口不是默认的22,在conf/hadoop-。如:exportHADOOP_SSH_OPTS="-p1234"-,增加下面内容<property> <name></name>  <value>hdfs://master:54310</value>//这个才是真正决定namenode </property> <property>  <name></name>  <value>/data/hdfs/tmp</value> //临时文件,有问题的时候,可以删除 <description>Abaseforothertemporarydirectories.</description> </property> -,增加下面内容<proper