Hadoop3.2 集群搭建

Hadoop3.2 集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。

大猪 为了把文章压缩极简方便小伙伴阅读,将使用root帐号进行所有操作。

  1. 准备两台主机10.211.55.1110.211.55.12

  2. 对应的hostname为m1.example.comm2.example.com
    具体命令操作如下

  3. 主机免密钥登录


  1. 同步hosts


  1. 下载 jdk1.8

  2. 配置Java环境


  3. 环境变量生效 source /etc/profile

  1. 两台主机创建好hadoop的文件夹


  1. 环境配置 hadoop-3.2.0.tar.gz

  2. 参数配置

运行用户操作,添加如下几句到 /soft/hadoop/etc/hadoop/hadoop-env.sh

  1. 环境变量生效 source /etc/profile

  2. hadoop 配置文件

core-site.xml 配置


hdfs-site.xml 配置


yarn-site.xml 配置


mapred-site.xml 配置


  1. 格式化name文件夹 hadoop namenode -format

  2. 启动 start-all.sh
    成功结果如下

  3. 访问 http://m1.example.com:8088/cluster

心明眼亮的你、从此刻开始。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 新鲜文章,昨天刚经过线上验证过的,使用它导出了3亿的用户数据出来,花了半个小时,性能还是稳稳的,好了不吹牛皮了,直...
    kikiki2阅读 140评论 0 2
  • 通过spark-submit会固定占用一占的资源,有什么办法,在任务不运作的时候将资源释放,让其它任务使用呢,ya...
    kikiki2阅读 221评论 0 2
  • 在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制Table...
    kikiki2阅读 168评论 0 1
  • 在这样一种场景,用户的登录行为数据都会以LoginEvent的行式记录下来,每次失败或者成功以及错误都会记录下来,...
    kikiki2阅读 225评论 0 2
  • 在Phoenix客户端使用自定义函数UDF时候是正常的,但是在本地测试的时候报Function类找不到的异常。 异...
    kikiki2阅读 144评论 0 2