hadoop 集群搭建笔记

修改主机名字:

hostnamectl  set-hostname 主机名称

修改hosts文件进行解析:

xxxx.xxxx.xxxx.xxxx    主机名字



ssh免密登录:

ssh-keygen -t rsa  生成密钥

ssh-copy-id slave1

ssh-copy-id slave2        每个节点都拷贝公钥

ssh-copy-id master



集群部署

2、配置集群

1、核心配置文件

配置core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000<value>

</property>

<property>

<name>hadoopd.tmp.dir</name>

<value>/opt/module/hadoop-2.7.3/data/tmp</value>

</property>

2、配置HDFS文件

配置hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_171

配置hdfs-site.xml

<--- 指定Hadoop辅助名称节点主机配置 ----->

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>slave2:50090</value>

</property>

3、配置YARN文件

配置yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_171

配置:yarn-site.xml

<-- Reducer 获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<-- 指定YARN的ResourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>slave1</value>

</property>

4、配置MapReduce文件

配置mapreduce-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_171

配置:对mapred-site.xml.template重命名为:mapred-site.xml

<---- 指定MR运行在YARN上 ---->

<property>

<name>MapReduce.framework.name</name>

<value>yarn</value>

</property>

5、配置slaves文件

master

slave1

slave2

1)如果集群是第一次启动,需要格式化NameNode

bin/hdfs namenode -format

(2)启动HDFS

sbin/start-dfs.sh

结果:[atguigu@hadoop102 hadoop-2.7.2]$ jps

4166 NameNode

4482 Jps

4263 DataNode

[atguigu@hadoop103 hadoop-2.7.2]$ jps

3218 DataNode

3288 Jps


[atguigu@hadoop104 hadoop-2.7.2]$ jps

3221 DataNode

3283 SecondaryNameNode

3364 Jps

到这里hdfs算是启动成功

(3)启动YARN

[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。

咱们在hadoop103机器上启动


然后在网页上测试:打开浏览器访问master:50070

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容