hadoop - 搭建

Hadoop3.2 集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。

大猪 为了把文章压缩极简方便小伙伴阅读,将使用root帐号进行所有操作。

  1. 准备两台主机10.211.55.1110.211.55.12
  1. 对应的hostname为m1.example.comm2.example.com

具体命令操作如下

  1. 主机免密钥登录
  1. 同步hosts
  1. 下载 jdk1.8
  1. 配置Java环境
  1. 环境变量生效 source /etc/profile
  1. 两台主机创建好hadoop的文件夹
  1. 环境配置 hadoop-3.2.0.tar.gz
  1. 参数配置

运行用户操作,添加如下几句到 /soft/hadoop/etc/hadoop/hadoop-env.sh

  1. 环境变量生效 source /etc/profile
  1. hadoop 配置文件

core-site.xml 配置

hdfs-site.xml 配置

yarn-site.xml 配置

mapred-site.xml 配置

  1. 格式化name文件夹 hadoop namenode -format
  1. 启动 start-all.sh

成功结果如下

  1. 访问 http://m1.example.com:8088/cluster

心明眼亮的你、从此刻开始。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Hadoop3.2 集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的...
    大猪大猪阅读 1,373评论 0 2
  • 配置ssh免密登陆 前提:master和slave节点配置相同。 本环境中已默认安装了SSH服务,所以我们只需要对...
    d6a12a231881阅读 3,255评论 0 0
  • 一、单机部署HADOOP:(非分布式) 1、环境准备 (1)虚拟内存 dd if=/dev/zero of=swa...
    瘮欢阅读 4,744评论 0 0
  • 1 前期准备 ubuntu(此例用18.10)虚拟机下载地址:https://mirrors.tuna.tsing...
    橙皇cc阅读 2,934评论 0 1
  • 伪分布式Hadoop搭建 hadoop的安装 下载Hadoop压缩文件这里使用清华的镜像wget http://m...
    blueoftravel阅读 4,642评论 0 4

友情链接更多精彩内容