【Hadoop大数据基础】##
第三节 Hadoop分布式集群安装
3.1 环境准备
3.2 服务器规划
3.3 tar上传服务器和解压情况
3.4 修改profile文件
3.5 SHH免签设置
3.6 hosts文件修改
3.7 将hadoop目录scp到其他2台服务器上
3.8 hadoop启动
3.1. 环境准备：
3台阿里云服务器: 10.0.73.21； 10.0.73.20 ； 10.0.73.6；
hadoop-2.6.0.tar.gz
jdk-8u65-linux-x64.tar.gz
3.2. 服务器规划：
3.3. tar上传服务器和解压情况：
jdk解压：
hadoop解压：
解压之后：
3.4. 修改profile文件：
在profile文件上添加如下图信息：
使profile文件生效：
3.5. SHH免签设置：
1） 检查系统是否安装了ssh：
如果没有按照那么就用yum和rpm 可以通过yum或rpm安装包进行安装 yum install ssh 上图显示已经按照！
2） ssh的rsa秘钥生成：ssh-keygen -t rsa -P ''
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将生成的公钥id_rsa.pub 内容追加到authorized_keys：
3）这里需要将另外2台节点的id_rsa.pub内容添加到本机的authorized_keys文件中：
4）将本机的authorized_keys文件scp到其他2台服务器：
5）记得要设置600的权限给authorized_keys
chmod 600 .ssh/authorized_keys：
3.6. hosts文件修改：
该文件另外2台服务器也要跟着修改：
hadoop文件修改：
1）进入$HADOOP_HOME/etc/hadoop目录如下图：
2）修改hadoop-env.sh文件如下：
3）修改yarn-env.sh文件如下：
4）修改core-site.xml文件如下：
5）修改hdfs-site.xml文件如下：
6）修改mapred-site.xml文件如下：
7）修改yarn-site.xml文件如下：
8）修改slaves文件如下：
3.7. 将hadoop目录scp到其他2台服务器上：
3.8. hadoop启动
1）格式化HDFS 格式化NameNode,不需要每次启动都需要格式化,机器第一次启动的时候需要格式化一次；如果多次格式化，注意要保持datanode的clusterID一致，否则要出现nodes instead of minReplication (=1). There are 0 datanode(s) running an的错误！
2）启动hadoop
3）查看各节点情况：
以上内容由小张网校学员-Like提供
更多课程可以关注
【微信公众号】小张网校
公众号内有微信群，扫描加入后更多大牛交流学习
