配置hadoop完全分布式
集群部署规划
首先配置第一台 然后配置好了分发给其他台 前提是配置好了jdk
解压
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
配置profile
配置两个 一个bin 一个sbin 生效文件 source /etc/profile 输入hadoop 查看
配置文件 需要配置八个
cd /opt/module/hadoop-2.7.2/etc/hadoop
配置core-site.xml
vim core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
• <name>fs.defaultFS</name>
• <value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
• <name>hadoop.tmp.dir</name>
• <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
配置hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置hdfs-site.xml
vim hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:50090</value>
</property>
配置yarn-env.sh
vim yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置yarn-site.xml
vim yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
配置mapred-env.sh
vim mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
配置slaves 不能有空行 空格
vim slaves
hadoop102
hadoop103
hadoop104
在集群上分发配置好的Hadoop配置文件
xsync /opt/module/hadoop-2.7.2/
配置其他两台的/etc/profile 并且生效 source /etc/profile
配置免密ssh
[root@hadoop102 opt]# cd /root/.ssh/
[root@hadoop102 .ssh]# ssh-keygen -t rsa
回车三次
就生成了id_rsa 和 id_rsa.pub
第一台
[root@hadoop102 .ssh]# ll total 12 -rw-------. 1 root root 1675 Apr 17 15:51 id_rsa -rw-r--r--. 1 root root 396 Apr 17 15:51 id_rsa.pub -rw-r--r--. 1 root root 374 Apr 17 15:43 known_hosts
拷贝给其他集群
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
第二台
[root@hadoop103 .ssh]# ll total 12 -rw-------. 1 root root 1675 Apr 17 15:51 id_rsa -rw-r--r--. 1 root root 396 Apr 17 15:51 id_rsa.pub -rw-r--r--. 1 root root 374 Apr 17 15:43 known_hosts
拷贝给其他集群
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
现在格式化namenode
[root@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format
启动集群
[root@hadoop102 hadoop-2.7.2]# start-dfs.sh
第二台启动yarn [root@hadoop103 hadoop-2.7.2]# start-yarn.sh
查看节点进程
[root@hadoop102 ~]# jps 7824 Jps 7124 NameNode 7611 NodeManager 7247 DataNode
[root@hadoop103 ~]# jps 7056 NodeManager 7512 Jps 6958 DataNode 7199 ResourceManager
[root@hadoop104 ~]# jps 7045 SecondaryNameNode 7302 Jps 6952 DataNode 7113 NodeManager 当启动发生错误的时候：
Ø 查看日志：/opt/module/hadoop-2.7.2/logs
Ø 如果进入安全模式，可以通过hdfs dfsadmin -safemode leave Ø 停止所有进程，删除data和log文件夹，然后hdfs namenode -format 来格式化
