hadoop搭建笔记

1.创建模板服务器

先在虚拟机创建hadoop100这个模板服务器

本次安装使用CENTOS7.5

先设置时间和最小化安装

c磁盘分区安装

然后设置KDUMP和网络

p配置root用户和hadoop用户

a. 配置hosts

hadoop100 192.168.204.100

hadoop102 192.168.204.102

hadoop103 192.168.204.103

hadoop104 192.168.204.104

b. 安装 epel-release

yum install -y epel-release

c 关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld

systemctl disable firewalld

d. 配置 hadoop 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

vi /etc/sudoers

在%wheel 这行下面添加一行

hadoop ALL=(ALL) NOPASSWD:ALL

wq! 强制保存

e. 使用hadoop用户创建moduel 和software目录

[hadoop@hadoop100 ~]$ mkdir moduel

[hadoop@hadoop100 ~]$ mkdir software

f.上传jdk和hadoop安装包至software

g. 安装jdk

$ tar -xvzf jdk-8u291-linux-i586.tar.gz -C /home/hadoop/moduel/

配置 JDK 环境变量

新建/etc/profile.d/my_env.sh 文件

$ sudo vi /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME

export JAVA_HOME=/home/hadoop/moduel/jdk1.8.0_291

export PATH=$PATH:$JAVA_HOME/bin

保存后退出

:wq

source 一下/etc/profile 文件，让新的环境变量 PATH 生效

$ source /etc/profile

检查是否成功，遇到如下错误

[hadoop@hadoop100 software]$ java

-bash: /home/hadoop/moduel/jdk1.8.0_291/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory

安装一个包就可以解决

sudo yum install glibc.i686

h.安装hadoop

$ tar -xvzf hadoop-3.2.2.tar.gz -C /home/hadoop/moduel/

将 Hadoop 添加到环境变量

$ sudo vi /etc/profile.d/my_env.sh

#HADOOP_HOME

export HADOOP_HOME=/home/hadoop/moduel/hadoop-3.2.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

source一下

查看一下HADOOP目录

（1）bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本

（2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件

（3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）

（4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本

（5）share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例

i 配置rsync

sudo yum install -y rsync

j 配置xsync

mkdir -p /home/hadoop/bin

vi xsync

#!/bin/bash

if [ $# -lt 1 ]

then

echo Not Enough Arguement!

exit;

for host in hadoop102 hadoop103 hadoop104

echo ==================== $host ====================

for file in $@

if [ -e $file ]

then

pdir=$(cd -P $(dirname $file); pwd)

fname=$(basename $file)

ssh $host "mkdir -p $pdir"

rsync -av $pdir/$fname $host:$pdir

else

echo $file does not exists!

done

添加执行权限

chmod +x xsync

k. 克隆出hadoop102 103 104三台主机，然后修改ip地址和hostname，之后才进行下一步，ssh免密登录。

l. 配置ssh 免密登录

[root@hadoop100 ~]# su - hadoop

[hadoop@hadoop100 ~]$ ssh-keygen -t rsa

三个回车

ssh-copy-id hadoop102

如果不通，重建hosts文件

所有节点都做这个操作

l.正式开始配置hadoop参数

自定义参数路径为$HADOOP_HOME/etc/hadoop

vi core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://hadoop102:8020</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/moduel/hadoop-3.2.2/data</value>

</property>

<name>hadoop.http.staticuser.user</name>

<value>hadoop</value>

</property>

vi hdfs-site.xml

<name>dfs.namenode.http-address</name>

<value>hadoop102:9870</value>

</property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop104:9868</value>

</property>

vi mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

最后配置workers

hadoop102

hadoop103

hadoop104

最后的最后，同步到集群上

xsync /home/hadoop/moduel/hadoop-3.2.2/etc/hadoop

这时候就可以启动集群了，先把hadoop100关掉，这个时候hadoop100就是模板机了，以后需要更多的服务器的时候，就可以克隆105 106 107出来，当然到时候还要继续配Hostname ssh IP.

-----------

启动集群

1 初始化

hadoop102上

hdfs namenode -format

然后启动hdfs

$HADOOP_HOME/sbin/start-dfs.sh

这个时候报错

Java HotSpot(TM) Client VM warning: You have loaded library /home/hadoop/moduel/hadoop-3.2.2/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.

It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.

在etc/hadoop/目录中的 hadoop-env.sh和yarn-env.sh 这两个文件中添加如下两行代码：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

还有个warnning,2021-07-14 14:45:18,511 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

这么解决

vi /home/hadoop/moduel/hadoop-3.2.2/etc/hadoop/log4j.properties

增加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

在配置了 ResourceManager 的节点（hadoop103）启动 YARN

$HADOOP_HOME/sbin/start-yarn.sh

集群启动完毕

（4）Web 端查看 HDFS 的 NameNode

（a）浏览器中输入：http://hadoop102:9870

（b）查看 HDFS 上存储的数据信息

（5）Web 端查看 YARN 的 ResourceManager

（a）浏览器中输入：http://hadoop103:8088

（b）查看 YARN 上运行的 Job 信息

添加历史服务器

vi mapred-site.xml

增加以下内容：

<name>mapreduce.jobhistory.address</name>

<value>hadoop102:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop102:19888</value>

</property>

配置历史日志聚集：

vi yarn-site.xml

<name>yarn.log-aggregation-enable</name>

</property>

<name>yarn.log.server.url</name>

<value>http://hadoop102:19888/jobhistory/logs</value>

</property>

<name>yarn.log-aggregation.retain-seconds</name>

</property>

编写集群启动脚本

cd bin

vi myhadoop

#!/bin/bash

if [ $# -lt 1 ]

then

echo "No Args Input..."

exit ;

case $1 in

"start")

echo " =================== starting hadoop cluster ==================="

ssh hadoop102 "/home/hadoop/moduel/hadoop-3.2.2/sbin/start-dfs.sh"

ssh hadoop103 "/home/hadoop/moduel/hadoop-3.2.2/sbin/start-yarn.sh"

ssh hadoop102 "/home/hadoop/moduel/hadoop-3.2.2/bin/mapred --daemon start historyserver"

;;

"stop")

echo " =================== stopping hadoop cluster ==================="

ssh hadoop102 "/home/hadoop/moduel/hadoop-3.2.2/bin/mapred --daemon stop historyserver"

ssh hadoop103 "/home/hadoop/moduel/hadoop-3.2.2/sbin/stop-yarn.sh"

ssh hadoop102 "/home/hadoop/moduel/hadoop-3.2.2/sbin/stop-dfs.sh"

;;

echo "Input Args Error..."

;;

esac

chmod +x myhadoop

配置集群JPS查看脚本

cd bin

vi jpsall

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104

echo =============== $host ===============

ssh $host jps

done

chmod +x jpsall

终于配置好了

分发给所有服务器

hadoop搭建笔记

推荐阅读更多精彩内容