Hadoop笔记.doc

猎聘网站
注意:1的IP设置和你的虚拟机在同一网段,但是IP不能相同
(windows下面的防火墙也要关闭)

vim /etc/work

vim /etc/work-scripts/ifcfg-eth0
DNS1=""
DNS2=""
修改主机名和IP的映射关系
vim /etc/hosts
关闭防火墙
查看防火墙状态
service iptables
查看计算机重启后防火强是否会开启,如下所示在2,3,4,5种情况会开启,可以在/etc/inittab中查看这几种情况,使用chkconfig iptables off 关闭
修改计算机名后需要重启计算机#reboot
重启后查看计算机和IP地址和防火墙是否改过来了
从windows中ping虚拟机
发现无法ping通,则查看虚拟机网络状态右击选择设置
将NAT模式改为host-only模式
在Windows中再ping一次,若还是ping不通,则将本地连接禁用,再次从Windows中ping虚拟机和从虚拟机中ping Windows(两方的防火墙都要关闭)
安装jdk
Jdk下载地址:
hnetwork/java/javase/downloads/jdk7-downloads-
(windows和虚拟机互传文件方式
1共享文件夹:“虚拟机”-->设置-->选项-->共享文件夹-->总是启用-->添加...
2使用FileZilla进行网络传输)
使用SecureCRT进行远程
使用#tar -zxvf jdk-7u79-linux- -C /usr/java解压jdk到java文件夹下
修改环境变量
#vim /etc/profile
在文件尾部添加如下
之后直接java是不行的,需要source
安装hadoop
Apache官方网站:http://archive./dist/
在官网中点击hadoop-->Core-->stable-->hadoop-
#mkdir /itcast
#tar -zxvf /home/liuming/hadoop- -C /itcast
配置伪分布式hadoop(要修改4个配置文件,)
第一个:hadoop-
(在itcast文件夹中:
bin是一些可执行命令
sbin是一些start和stop命令文件
etc是hadoop的配置文件)
#cd /itcast/etc/hadoop
#vim hadoop-
第二个:/itcast/etc/hadoop下的core-
#vim core-
在configuration中添加属性如下:
<configuration>
<!--用来HDFS的老大(NameNode)的地址-->
<property>
<name></name>
<value>hdfs://itcast01:9000</value>
</property>
<!--用来指定hadoop运行时产生文件的存放目录-->
<property>
<name></name>
<value>/itcast/hadoop-</value>
</property>
</configuration>
第三个:/itcast/etc/hadoop下的hdfs-
#vim hdfs-
<configuration>
<property>
<!--用来指定HDFS保存数据的副本数目-->
<name></name>
<value>1</value>
</property>
</configuration>
第四个:/itcast/etc/hadoop下的mapred-
/itcast/etc/hadoop下没有mapred-,只有mapred-,只要把mapred--xml
# mv mapred- mapred-
#vim mapred-
<configuration>
<property>