修改主机名字:
hostnamectl set-hostname 主机名称
修改hosts文件进行解析:
xxxx.xxxx.xxxx.xxxx 主机名字
ssh免密登录:
ssh-keygen -t rsa 生成密钥
ssh-copy-id slave1
ssh-copy-id slave2 每个节点都拷贝公钥
ssh-copy-id master
集群部署
2、配置集群
1、核心配置文件
配置core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000<value>
</property>
<property>
<name>hadoopd.tmp.dir</name>
<value>/opt/module/hadoop-2.7.3/data/tmp</value>
</property>
2、配置HDFS文件
配置hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_171
配置hdfs-site.xml
<--- 指定Hadoop辅助名称节点主机配置 ----->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:50090</value>
</property>
3、配置YARN文件
配置yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_171
配置:yarn-site.xml
<-- Reducer 获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property>
4、配置MapReduce文件
配置mapreduce-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_171
配置:对mapred-site.xml.template重命名为:mapred-site.xml
<---- 指定MR运行在YARN上 ---->
<property>
<name>MapReduce.framework.name</name>
<value>yarn</value>
</property>
5、配置slaves文件
master
slave1
slave2
1)如果集群是第一次启动,需要格式化NameNode
bin/hdfs namenode -format
(2)启动HDFS
sbin/start-dfs.sh
结果:[atguigu@hadoop102 hadoop-2.7.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[atguigu@hadoop103 hadoop-2.7.2]$ jps
3218 DataNode
3288 Jps
[atguigu@hadoop104 hadoop-2.7.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
到这里hdfs算是启动成功
(3)启动YARN
[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。
咱们在hadoop103机器上启动
然后在网页上测试:打开浏览器访问master:50070