『 Hadoop』从零安装第四弹

hadoop集群安装

前置准备:

  1. 克隆虚拟机,克隆出2个虚拟机,加上主虚拟机,则可构成简单的集群


  2. 选择完整克隆,其他下一步下一步即可,我的配置用了半小时克隆完2个

    PS:如果机子配置和我一样不怎么滴的话,准备好,你的噩梦要来了

  3. 在克隆的过程中,查看本机的DNS
    在Windows下,win+R运行cmd,在cmd命令行中输入
    ipconfig /all

配置master

  1. 把第一台机子即主虚拟机的hostname设置为master

    PS: 重启虚拟机后,名字显示改变,当时我没有及时重启虚拟机,所以名字还是显示ubuntu

  2. 查看master的IP地址


  3. 查看master的网络信息,记录子网及掩码等信息



  4. 根据master的网络信息修改配置文件interfaces



5.根据虚拟机集群的网络信息修改配置文件hosts
$ sudo gedit /etc/hosts

PS:这个不是最终版本的hosts,slave1和slave2是克隆出来的虚拟机,此时它们的IP我显然是还不知道的,所以先预测一下,稍后我会放出最终版的hosts,顺便localhost也可以去掉

配置slave1

  1. 同master的操作,先查看slave1的IP地址


  2. 修改hostname为slave1


  3. 修改配置文件interfaces


  4. 修改配置文件hosts
    PS:这个同样还不是最终版本的hosts...
  5. 检测配置是否成功,slave1 Ping自己和master


配置slave2

  1. 查看slave2的IP地址
    PS:此时开着3个虚拟机,本本已经开始吃力了,我当时被卡了好久,建议如果和我一样是4G内存的,可以设置3个虚拟机为1G 512M 512M 或者3个512M,为啥不设256M,因为启动不了哈哈哈哈
  2. 其它步骤略过,同前面,直接来看最终的hosts
  3. 最后,检测三台机子是否能互相Ping成功


配置DNS服务器

如果不能上网,需要修改/etc/resolv.conf文件,配置DNS服务器
$ sudo gedit /etc/resolv.conf

通过查看本机的DNS修改文件添加如下配置
nameserver 8.8.8.8 8.8.4.4
nameserver 218.2.135.1

至此你的集群已经可以互相Ping通啦!!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Mapreduce+Hive+Spark平台搭建 说明 平台搭建成功后,使用Scala语言进行算法设计和应用的开发...
    泽泽馥泽泽阅读 10,504评论 4 6
  • 最近在学习大数据技术,朋友叫我直接学习Spark,英雄不问出处,菜鸟不问对错,于是我就开始了Spark学习。 为什...
    Plokmijn阅读 26,776评论 6 26
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,073评论 19 139
  • 配置环境:ubuntu 14.0.4 +hadoop.2.7.11.设置用户sudo权限 在root ALL=(A...
    玄月府的小妖在debug阅读 9,392评论 0 7
  • 和先生怄气,不陪他进城! 气鼓鼓的躺在床上,越想越生气。翻来覆去,干脆起床坐在书桌旁。 书桌上有精美的笔记本,有各...
    南英子阅读 8,625评论 108 174

友情链接更多精彩内容