配置hadoop3.2.0
安装前准备
1、完全分布式安装下载
1）下载地址：[https://hadoop.apache.org/releases.html]
我们下载3.2.0版本，然后拷贝至node1上，由于我是root用户下安装，我存放在目录 /root/software
没有software文件夹的可以自己创建一个
2）进入software目录 解压该目录至 /etc
tar -zxvf hadoop-3.2.0.tar.gz -C /etc/
3）解压到 /etc 下文件夹名为hadoop-3.2.0,我们重命名为hadoop
mv ./hadoop-3.2.0/ ./hadoop
4)查看目录内容如下
2、配置文件设置
首先我们梳理下要涉及的配置文件及对应路径(根据我安装目录确定的绝对路径)
安装路径为： /etc/hadoop/
| 配置文件 | 功能 | 路径 |
|---|---|---|
| hadoop-env.sh | hadoop运行环境变量配置 | /etc/hadoop/etc/hadoop/hadoop-env.sh |
| sore-site.xml | hadoop公共属性的配置 | /etc/hadoop/etc/hadoop/sore-site.xml |
| hdfs-site.xml | HDFS属性配置 | /etc/hadoop/etc/hadoop/hdfs-site.xml |
| worker | DataNode 分配属性配置 | /etc/hadoop/etc/hadoop/worker |
配置hadoop-env.sh 如下图
vi /etc/hadoop/etc/hadoop/hadoop-env.sh
上图红色框线处填写JDK的路径
所有的安装用户我都使用root;
我的java_home 路径为：usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_6
不知道的用如下命令查看
echo $JAVA_HOME
以上配置参数解释：
JAVA_HOME 指定JDK的路径
HDFS_NAMENODE_USER 指定操作NameNode进程的用户
HDFS_DATANODE_USER 指定操作DataNode进程的用户
HDFS_SECONDARYNAMENODE_USER 指定操作Secondary_NameNode的用户
配置core-site.xml ，主要配置hadoop公共属性 如下图
vi /etc/hadoop/etc/hadoop/core-site.xml
以下代码复制到<configuration></configuration>之间
<properyt>
<name>fs.defaultFs</name>
<value>hdfs://node1:9802</value>
</properyt>
<properyt>
<name>hadoop.tmp.dir</name>
<value>/opt.hadoopdata</value>
</properyt>
以上配置参数解释：
fs.defaultFs 指NameNode所在节点，value这里配置node1；端口9820;hdfs指协议
hadoop.tmp.dir 指配置元数据存放的位置，value这里配置为/opt/hadoopdata, 后续如果查看fsiamge和edits文件，可以在这个目录下找
手动在node1目录下/opt/创建文件夹 hadoopdata
配置hdfs-site.xml ,主要是HDFS属性配置
vi /etc/hadoop/etc/hadoop/hdfs-site.xml
<properyt>
<name>dfs.namenode.secondary.http-address</name>
<value>node2:9868</value>
</properyt>
以上配置参数解释：
dfs.namenode.secondary.http-address 配置Secondary NameNode的节点 这里配置值为 node2 端口 9868
配置workers,主要配置DataNode属性
vi /etc/hadoop/etc/hadoop/workers
删除默认的localhost 在其中写入
node1
node2
node3
3、其他节点部署
以上均是在node1中完成了 NameNode,Secondary NameNode,DataNode的配置，现在将这些配置复制到其他两个节点特定目录。
为了方便我们三个节点目录均设置一致
scp -r /etc/hadoop root@node2:/etc/
scp -r /etc/hadoop root@node3:/etc/
这样hadoop配置文件就复制到其他节点上了
4、启动
未完待续！需要交流可以私信我。
