一、下载地址
https://www-eu.apache.org/dist/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
二、前置条件
1. 安装jdk8
需要安装好jdk8，安装方法参考centos7 jdk8安装
2.创建一个新用户
a)添加用户
useradd -m hadoop -s /bin/bash
b)修改密码
passwd hadoop
c)分配用户组
usermod -a -G hadoop hadoop
d)添加sudo权限
修改/etc/sudoers文件
vim /etc/sudoers
在文件中找到“root ALL=(ALL) ALL”，在这行下面加上“hadoop ALL=(ALL) ALL”，然后输入":wq!"保存退出
e)切换用户
su - hadoop
3.ssh密钥生成
检查您是否可以在没有密码的情况下ssh到localhost
ssh localhost
如果需要输入密码请执行以下命令：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
验证是否成功
ssh localhost
执行结果
f)添加hosts
sudo vim /etc/hosts
加入
192.168.200.128 hadoopserver # ip 主机名
三、安装步骤
1.安装hadoop(伪分布模式)
a)解压下载好的hadoop
sudo tar -zxf hadoop-2.8.5.tar.gz -C /usr/local/ # 解压hadoop到/user/local
b)修改文件的所有者
sudo chown -R hadoop:hadoop /usr/local/hadoop-2.8.5
c)添加环境变量
修改~/.bashrc文件
vim ~/.bashrc
文件中加入
export HADOOP_HOME=/usr/local/hadoop-2.8.5
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
使环境变量生效
source ~/.bashrc
d)修改配置文件
进入配置文件目录
cd $HADOOP_HOME/etc/hadoop
修改下列配置文件
- hadoop-env.sh
修改文件中的JAVA_HOME
export JAVA_HOME=/usr/local/jdk1.8.0_201
- core-site.xml
修改core-site.xml文件当中的
<configuration>
</configuration>
修改为
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.8.5/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoopserver:9000</value>
</property>
</configuration>
- hdfs-site.xml
同样修改为
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.8.5/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.8.5/tmp/dfs/data</value>
</property>
</configuration>
- yarn-site.xml
同样修改为
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoopserver</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
- mapred-site.xml
因为mapred-site.xml文件不存在，所以重命名mapred-site.xml.template文件即可
mv mapred-site.xml.template mapred-site.xml
然后修改为
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- slaves
修改为主机名，如:hadoopserver
四、启动
第一次启动之前需要格式化HDFS
hdfs namenode -format
启动服务
start-dfs.sh
start-yarn.sh
启动成功后访问web页面
http://server-ip:50070
http://192.168.200.128:8088
