一:Hadoop初始化环境搭建-1

一:虚拟机和Linux的安装


在搭建Hadoop集群环境之前,我们必须要进行如下的准备工作:

01.安装虚拟机

02.安装3台Linux

03.修改主机名和IP地址对应关系

04.SSH免密码登陆


1.1:虚拟机的安装步骤

        VMware的安装版本是12,大家可以直接百度,下载需要的虚拟机!



















 这里虚拟机的内存,也可以使用推荐设置!(如果真机内存够用,可以设置高点)




















 这里的声卡和打印机也可以不删除。(强迫症,目前没用的组件删除,不影响我们后续操作)




1.2:LInux安装步骤












 之后点击开始安装,等待。。。。。


二:NAT网络设置

  简单介绍下网络设置的不同:

桥接网络: 虚拟机使用本地网络,和本机ip值 相同!

仅主机:只能和本机进行通讯,无法上网!

NAT:即可以上网,也可以和本机进行通讯!

2.1:本机设置



右键点击网络,选择打开网络和共享中心



找到VMnet8


选择属性



配置真机(windows)中的ip映射


2.2:虚拟机设置


选择虚拟机中的网络设置



点击修改


配置虚拟机中的ip映射


2.3:在真机(windows)中设置网络共享



如果是WIFI就选择WIFI即可


这样,我们的虚拟机就可以连接网络了


三:可能出现的问题


线缆被拔出的解决方案


四:开机自启动网络连接


切换到指定的目录

 cd  /etc/sysconfig/network-scripts/



找到选中的文件




修改onboot为yes即可

五:克隆子机器

  我们最终的hadoop分布式环境是1个master,2个slave。所以还需要把刚才创建的机器,克隆两份!


 5.1:关闭克隆的机器


 5.2:克隆机器









创建完整克隆 



文件名称和位置,自拟,建议和之后的主机名一致


 5.3:安装上诉步骤再克隆slave2机器




六:修改3台虚拟机的IP地址和主机名称

  因为我们的第一台虚拟机的IP已经设置,所以只需要修改克隆的两台机器即可!

6.1:修改slave1的IP地址 

        192.168.27.3




6.2:修改slave2的IP地址

 192.168.27.4



6.3:修改3台虚拟机的ip地址和主机名称的对应关系

1:修改3台电脑的主机名

使用XShell 连接3台虚拟机


修改主机名

hostnamectl  --static set-hostname 主机名



修改master机器


修改slave1机器


修改slave2机器


2:修改3台电脑的主机名和IP地址对应关系


在每台电脑上运行:vim  /etc/hosts  

在文件中都增加:

192.168.27.2  master

192.168.27.3  slave1

192.168.27.4  slave2

七:设置SSH免密码登陆


7.1:生成.ssh文件

在每台电脑中使用ssh命令,让每台电脑中的~目录下生成.ssh文件!

 在master机器上运行  ssh  slave1

在slave1机器上运行  ssh  master

在slave2机器上运行  ssh  master


7.2:master机器上生成密钥


在master机器上生成密钥运行:ssh-keygen -t rsa




7.3:复制密钥


把master机器生成的id_rsa.pub复制到另外两个

子机器中,重命名为authorized_keys


id_rsa.pub的路径在 ~/.ssh/文件夹下面!


 scp id_rsa.pub root@slave1:~/.ssh/authorized_keys


 scp id_rsa.pub root@slave2:~/.ssh/authorized_keys




slave1和slave2分别是另外两台子机器的主机名!


7.4:修改权限

在两个子机器中把authorized_keys

文件的权限改为600

 chmod 600 authorized_keys



7.5:追加授权


在master节点使用下面命令

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys(把id_rsa.pub追加到授权的key里面去)


7.6:修改配置文件



所有机器上使用下面命令

vim /etc/ssh/sshd_config(修改SSH配置文件"/etc/ssh/sshd_config")


RSAAuthentication yes #启用 RSA 认证

PubkeyAuthentication yes #启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)





八:关闭防火墙


firewall-cmd --state                                    查询防火墙状态

systemctl  stop firewalld.service                   关闭防火墙

systemctl  start firewalld.service                    开启防火墙

systemctl  disable firewalld.service              禁止开启启动防火墙




三台Linux电脑的防火墙都需要关闭!本机(windows)防火墙也需要关闭!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,635评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,628评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,971评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,986评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,006评论 6 394
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,784评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,475评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,364评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,860评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,008评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,152评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,829评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,490评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,035评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,156评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,428评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,127评论 2 356

推荐阅读更多精彩内容