Hadoop的分布式集群环境搭建

一. Linux环境准备

关闭防火墙
yum install iptables-services
service iptables stop
永久关闭：
chkconfig iptables off
或者
systemctl disable iptables.service
禁用SELinux
yum install -y vim*
修改SELINUX为：
vim /etc/sysconfig/selinux
SELINUX=disabled

修改hostname，ip和主机名的对应的映射 该步骤不必须可不映射
vim /etc/hosts
重启重启慎重
192.168.100.21 hadoop01
192.168.100.22 hadoop02
192.168.100.23 hadoop03
reboot

JDK安装
查看是否安装java
rpm -qa|grep jdk
rpm -qa|grep java
安装文件上传下载插件
yum install -y lrzsz
上传JDK文件 rz
tar -zxvf jdk-8u141-linux-x64.tar.gz
修改环境变量：
vi /etc/profile

# jdk1.8
export JAVA_HOME=/usr/local/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile
验证：java -version

sodo权限配置

groupadd hadoop #增加新用户组
useradd hadoop -m -g hadoop #增加新用户
passwd hadoop #修改hadoop用户的密码
123456

切换用户 su hadoop
查看当前用户 whoami
切换回root：
su root

给/etc/sudoers文件赋权：
chmod u+x /etc/sudoers
vim /etc/sudoers

添加hadoop01权限 这里以hadoop01为例

image.png

root    ALL=(ALL)     ALL
hadoop    ALL=(ALL)       ALL

测试sodo给文件夹赋权限：
sudo ls /root
sudo su hadoop01

image.png

各服务器间的免密码登录配置，分别在各自服务中执行一次
切换至hadoop用户：
su hadoop

ssh-keygen -t rsa #一直按回车，会生成公私钥
ssh-copy-id hadoop@hadoop01
ssh-copy-id hadoop@hadoop02
ssh-copy-id hadoop@hadoop03

注：以上操作需要登录到hadoop用户操作

二.开始安装部署

下载hadoop包，hadoop-2.9.2.tar.gz
官网地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/

（1）创建hadoop安装目录

 mkdir -p /home/hadoop/app/hadoop/{tmp,hdfs/{data,name}}

（2）将安装包解压至/home/hadoop/app/hadoop下

cd /home/hadoop/app/hadoop
wget --no-check-certificate https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
tar -zxvf hadoop-2.9.2.tar.gz -C /home/hadoop/app/hadoop

（3）配置hadoop的环境变量，修改
退回到root用户
exit
vim /etc/profile

# set Hadoop path
export HADOOP_HOME=/home/hadoop/app/hadoop/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HOME_WARN_SUPPRESS=1

（4）刷新环境变量

 source /etc/profile

配置Hadoop

（1）配置core-site.xml

 vim /home/hadoop/app/hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml

<configuration>
    <property>
        <!-- 配置HDFS的NameNode所在节点服务器 -->
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>

    <property>
        <!-- 配置Hadoop的临时目录 -->
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/hadoop/tmp</value>
    </property>
</configuration>

默认配置地址：http://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core-default.xml

（2）配置hdfs-site.xml SecondaryNameNode地址配置

vim /home/hadoop/app/hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <!-- 配置HDFS的DataNode的备份数量 -->
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/app/hadoop/hdfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/app/hadoop/hdfs/data</value>
    </property>

    <property>
        <!-- 配置HDFS的权限控制 -->
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>

    <property>
        <!-- 配置SecondaryNameNode的节点地址 -->
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop02:50090</value>
    </property>
</configuration>

默认配置地址：http://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

（3）配置mapred-site.xml

cp /home/hadoop/app/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /home/hadoop/app/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml
vim /home/hadoop/app/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <!-- 配置MR运行的环境 -->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

默认配置地址：http://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

（4）配置yarn-site.xml

 vim /home/hadoop/app/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <!-- 配置ResourceManager的服务节点 -->
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
    </property>

    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop01:8032</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hadoop01:8088</value>
    </property>
</configuration>

默认配置地址：http://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

（5）配置slaves

vim /home/hadoop/app/hadoop/hadoop-2.9.2/etc/hadoop/slaves

hadoop03

slaves文件中配置的是DataNode的所在节点服务

（6）配置hadoop-env

修改hadoop-env.sh文件的JAVA_HOME环境变量，操作如下：

 vim /home/hadoop/app/hadoop/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_141

（7）配置yarn-env

修改yarn-env.sh文件的JAVA_HOME环境变量，操作如下：

vim /home/hadoop/app/hadoop/hadoop-2.9.2/etc/hadoop/yarn-env.sh

在文件头部新加一行

export JAVA_HOME=/usr/local/jdk1.8.0_141

（8）配置mapred-env

修改mapred-env.sh文件的JAVA_HOME环境变量，操作如下：

vim /home/hadoop/app/hadoop/hadoop-2.9.2/etc/hadoop/mapred-env.sh

在文件头部新加一行

export JAVA_HOME=/usr/java/jdk1.8.0_131

（9）将配置好的hadoop分别远程拷贝至其他服务器中
切换用户hadoop
su hadoop
sudo chmod -R 777 /home/hadoop/app/hadoop/hdfs/name

scp -r /home/hadoop/app/hadoop hadoop@hadoop02:/home/hadoop/app/
scp -r /home/hadoop/app/hadoop hadoop@hadoop03:/home/hadoop/app/

5 启动测试

（1）在hadoop01节点中初始化Hadoop集群文件系统格式化 参考

 hadoop namenode -format

image.png

（2）启动Hadoop集群

start-dfs.sh

NameNode hadoop01
SecondaryNameNode hadoop02
DataNode hadoop03

start-yarn.sh

ResourceManager hadoop01
NodeManager hadoop03

（3）验证集群是否成功

查看hadoop01的服务
yum -y install net-tools
netstat -tnlp

image.png
关闭防火墙
systemctl stop firewalld.service
浏览器中访问50070的端口，如下证明集群部署成功（hdfs）

image.png
浏览器中访问8088的端口，如下证明集群部署成功（yarn）

image.png

最后编辑于：2019.08.23 11:31:52

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,053评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,527评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,779评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,685评论 1赞 276
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,699评论 5赞 366
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,609评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,989评论 3赞 396
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,654评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,890评论 1赞 298
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,634评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,716评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,394评论 4赞 319
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,976评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,950评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,191评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 44,849评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,458评论 2赞 342

Hadoop的分布式集群环境搭建

一. Linux环境准备

二.开始安装部署

配置Hadoop

5 启动测试

推荐阅读更多精彩内容