【资源】hadoop文档地址:http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
【1】 : host-only模式下设置静态ip
(1)设置本机win下的Vmnet1网络适配器的IPv4
控制面板 --> 网络和共享中心 --> 更改适配器设置 --> 设置IP
此处设置win本地的VMIP
此处设置linux虚拟机的网络连接模式为host-only模式
此处设置linux的静态IP
设置完后执行命令service network restart 重启网卡
成功后验证:查看本虚拟机IP并ping 本机下vm所设置IPv4的IP值,
【2】 : 修改主机名
1 :修改当前会话的主机名
hostname hadoop -- 设置当前会话主机名为hadoop
2 :修改配置文件中主机名
vim /etc/sysconfig/network 将HOSTNAME的值设置为你所要更改的主机名hadoop
【3】 : hostname与IP绑定
更改配置
vim /etc/hosts 添加内容 192.168.1.201 hadoop
【4】 :关闭防火墙
1 : 本会话关闭防火墙
service iptables stop
2 : 防止防火墙重启关闭
chkconfig iptables off
3 :其他验证
chkconfig -- 检查所有配置内容
iptables 0:off 1:off 2:on 3:on 4:on 5:on 6:off
chkconfig --list | grep iptables --查看防火墙配置
chkconfig iptables off --永久关闭防火墙
【5】 : 设置SSH(SSH免密码登陆)
1 : 生成公钥
ssh-keygen -t rsa -- -t表示使用的生成公钥的算法,这里是rsa算法
生成的公钥文件在 /~/.ssh下
2 :进入存入公钥文件的目录,将公钥的.pub文件复制给authorized_keys(因为一般访问都是去访问这个文件)
执行命令:
cd .ssh/
cp id_rsa.pub authorized_keys
【6】 :hadoop安装
1 ) 下载hadoop.tar.gz文件并解压,然后将其复制到 /usr/local/下
tar -xzvf hadoop-1.1.2.tar.gz
cp -r hadoop-1.1.2 /usr/local
mv hadoop-1.1.2 hadoop -- 重命名
2) 创建HADOOP_HOME,修改path
vim /etc/profile
添加内容
export HADOOP_HOME="/usr/local/hadoop"
export GIT_HOME="/usr/local/git"
export JAVA_HOME="/opt/jdk1.7.0_79"
export PATH=".:$HADOOP_HOME/bin:$JAVA_HOME/bin:$GIT_HOME/bin:$PATH"
source /etc/profile - 刷新此配置文件
hadoop -version 查看hadoop版本
3) 修改hadoop中的配置文件
分别要修改目录/hadoop/conf的四个文件
**文件一 hadoop-env.sh
**文件二 core-site.xml
**文件三 hdfs-site.xml
**文件四 mapred-site.xml
hadoop-env.sh文件修改内容
export JAVA_HOME=/usr/local/jdk/
core-site.xml文件修改内容
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value> --这里是你的主机名
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
hdfs-site.xml文件修改内容
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>#这里datanode的个数有几个就可以配几个,默认是三,不能超过datanode的数量
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml文件修改内容
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value> --这里是你的主机名
<description>change your own hostname</description>
</property>
</configuration>
4 ) 格式化hadoop并启动
hadoop namenode -format -- 格式化
./start-all.sh -- 启动
jps -查看java线程
./stop-all.sh --关闭
5 ) 去除启动警告
在/etc/profiile下加环境变量
export HADOOP_HOME_WARN_SUPPRESS="1"
6 ) linux本虚拟机测试
访问:
192.168.1.201:50030 或者 hadoop:50030(这里hadoop是主机名,不是localhost)
192.168.1.201:50070 或者 hadoop:50070
6 ) win7主机测试
注意:可以先将主机与IP绑定
修改 : C:\Windows\System32\drivers\etc下的hosts文件 将主机名与IP绑定
添加内容 192.168.1.201 hadoop
访问 :
192.168.1.201:50030 或者 hadoop:50030(这里hadoop是主机名,不是localhost)
192.168.1.201:50070 或者 hadoop:50070