大数据||Hadoop分布式部署虚拟机

分布式部署

  • 伪分布式。一台机器运行所有的守护进程,从节点datanode、nodemanager
  • 完成分布式。
    有多个从节点。
    datanodes、nodeManager。多节点其实就是多了几个datanode和nodemanager。
    如何配置多个节点?
    在配置文件$Hadoop/etc/hadoop/slaves中添加节点。

0、停掉 hdfs和yarn的服务

1、设置固定ip并重连


机器规划

克隆虚拟机方式1

克隆虚拟机方式2

复制hadoop-senior2重新命名为hadoop-senior3
image.png
在VMware Workstation中打开hadoop-senior3
image.png

修改mac地址

命令
在虚拟机中自动生成mac地址
修改自动生成的eth1 删除eth0
image.png

修改mac地址并reboot

命令
image.png

修改第二台虚拟机的mac及ip

mac
image.png
修改自动生成的eth1 删除eth0
image.png
修改ip
修改mac文件并重启服务

修改主机名

命令:vi /etc/sysconfig/network

image.png

配置ip与主机域名映射

说明:在集群环境中ip会发生变化,所以使用域名来代替ip地址,这样程序不需要改变。因为程序里面配置的是域名。

命令:vi /etc/hosts


测试

命令: ping hadoop-senior02.beifeng.com


创建集群文件夹

mkdir /opt/app

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容