手把手教你配置hadoop(一)

网络配置

命令:
你的虚拟机也可能是ens33

vi /etc/sysconfig/network-scripts/ifcfg-ens32

修改如下
IPADDR的网段要与上图中的子网IP网段一致,GATEWAY的网段也要一致(前段数字都要一样,最后一段数字随意
不要用2-255)


image.png
配置网络工作

/etc/sysconfig/network 文件里增加如下配置

image.png

修改

关闭防火墙并重启

image.png

我们发现ping无法使用时


image.png

image.png

重启服务
ping百度

ctrl+c退出

centos7配置(三台虚拟机都需要配置)

1.配置自动时钟同步

该项同时需要在HadoopSlave节点配置。

1.1使用Linux命令配置

[root@master ~]# crontab -e

vi下的操作大家一定要会
该命令是vi编辑命令,按i进入插入模式,按Esc,然后键入:wq保存退出
键入下面的一行代码,输入i,进入插入模式(星号之间和前后都有空格)

*/5 * * * * ntpdate -u ntp1.aliyun.com

2.配置主机名

2.1HadoopMaster节点

使用vi编辑主机名

[root@master ]# vi /etc/hostname

配置信息如下,如果已经存在则不修改,将HadoopMaster节点的主机名改为master,即下面代码的第2行所示。
master
确实修改生效命令:

[root@master kkb]# hostname master

检测主机名是否修改成功命令如下,在操作之前需要关闭当前终端,重新打开一个终端:

[root@master kkb]# hostname
image.png

2.2HadoopSlave节点(两个Slave节点)

使用vi编辑主机名:

[root@slave kkb]# vi /etc/hostname

配置信息如下,如果已经存在则不修改,将Hadoopslave节点的主机名改为slave,即下面代码的第
2行所示。 slave01
另一台改为
slave02
确实修改生效命令:

  [root@slave kkb]# hostname slave01
image.png

另一台执行

[root@slave kkb]# hostname slave02
image.png

检测主机名是否修改成功命令如下,在操作之前需要关闭当前终端,重新打开一个终端: [root@slave kkb]#
hostname
[图片上传中...(image.png-ba3c18-1576726720350-0)]

5.配置hosts列表(配置映射列表)

该项也需要在HadoopSlave节点配置。
需要在root用户下(使用su命令),编辑主机名列表的命令:

[root@master ~]# vi /etc/hosts

将下面两行添加到/etc/hosts文件中:

192.168.48.128 master
192.168.48.129 slave01
192.168.48.130 slave02
三台虚拟机都需要配置

注意:这里master节点对应IP地址是192.168.48.128,slave1对应的IP是192.168.48.129,slave2对应的IP是192.168.48.130,而自己在做配置时,需要将这两个IP地址改为你的master和slave对应的IP地址


image.png

配置完毕后查看ifconfig


image.png

可以用ping来查看是否连通

[root@master ~]$ ping slave01
[kkb@master ~]$ ping slave02
[kkb@slave01 ~]$ ping master 
[kkb@slave02 ~]$ ping master

如果出现下图的信息表示配置成功:


image.png

6.安装JDK

该项也需要在HadoopSlave节点配置。

首先查询系统自带的jdk,但我们一般不使用
[kkb@master ~]$ rpm -qa | grep java

然后移除系统自带的jdk
[root@master ~]# yum remove java-1.*   # *号代表是占位符
image.png

将JDK文件解压,放到/usr/java目录下


image.png

放入文件有2种方式:

第一种直接复制

image.png

image.png

因为我们的解压包在桌面上所以先移动/usr/java/下,再解压


image.png

使用cd命令回到root用户的家目录下

[root@master java]$ cd

使用vi配置环境变量root用户下
[root@master ~]$ vi .bash_profile

复制粘贴以下内容添加到到上面vi打开的文件中:

#我们提前把hadoop的环境变量设好了
JAVA_HOME=/usr/java/jdk1.8.0_181/
HADOOP_HOME=/software/hadoop/hadoop-2.7.3
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export HADOOP_HOME
export PATH
image.png

接着让环境变量生效

#环境变量生效
[root@master ~]$ source .bash_profile

#测试配置:
root@master ~]$ java -version
成功

7.免密钥登录配置(root用户与普通用户均需要配置)

7.1三个节点分别执行生成秘钥的命令

[root@master ~]# ssh-keygen -t rsa #一路回车完成秘钥生成
[root@slave01 ~]# ssh-keygen -t rsa #一路回车完成秘钥生成
[root@slave02 ~]# ssh-keygen -t rsa #一路回车完成秘钥生成

7.2在master节点上做示范,以下的命令需要在所有节点上执行

[root@master ~]# ssh-copy-id -i slave01
[root@master ~]# ssh-copy-id -i slave02

以node1节点作为示范,其他节点需要相应的验证.如果免密码登录失败,会提示输入登录密码,此时重复7.1和7.2等两个步骤

[root@master ~]# ssh slave01
[root@master ~]# ssh slave02

ssh远程登录其他节点后,可使用exit退回到本机节点


image.png

8. 创建hadoop用户和hadoop组

此用户用于操作hadoop集群,因此也需要对此用进行免密码登录配置.此处以node1节点为例,其他节点也需要按照以下步骤操作.

[root@node1 ~] useradd kkb
[root@node1 ~] passwd kkb #密码输入kkb
[root@node1 ~] groupadd kkb #创建kkb用户组
[root@node1 ~] usermod -G kkb kkb #讲hadoop添加到hadoop组中
[root@node1 ~] su - kkb #切换到hadoop用户目录下
[kkb@master ~]# ssh-keygen -t rsa #一路回车完成秘钥生成
[kkb@master ~]$ cd .ssh
[kkb@master .ssh]$ cat id_rsa.pub >> authorized_keys #将生成的公钥添加到认证文件中

在普通用户下做ssh操作与上面root用户做ssh操作相同,三台都要做,只是多出一步将公钥添加到认证文件
(普通用户意味着权限稍弱)
先cd 返回根目录,重复上面7.2,7.3操作

出现免密失败的解决方法

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,033评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,725评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,473评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,846评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,848评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,691评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,053评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,700评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,856评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,430评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,034评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2 343