一、前言废话

下载hadoop-2.10.0.tar.gz
下载jdk-8u241-linux-x64.tar.gz
ArcGIS 10.7.1
CentOS 7.6

二、HDFS安装

伪集群部署，将NameNode和DataNode部署在同一台机器（机器名：hdsf.hadoop 192.168.1.36)

2.1配置Java环境（若集群则需要每台机器都配置Hadoop环境）

创建Java目录并将下载好的JDK拷贝到目录中
[root@hdfs ~]# mkdir /usr/local/Java
[root@hdfs Java]# tar -zxvf jdk-8u241-linux-x64.tar.gz
[root@hdfs ~]# vim .bash_profile

export    JAVA_HOME=/usr/local/Java/jdk1.8.0_241
export    CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export    PATH=$JAVA_HOME/bin:$PATH

[root@hdfs ~]# source .bash_profile

验证Java环境配置
[root@hdfs ~]# java -version

java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)

2.2配置ssh无密码登录（若集群需要将authorized_keys拷贝到每台机器的.ssh)

[root@hdfs .ssh]# cd ~/.ssh #连击4个回车
[root@hdfs .ssh]# ssh-keygen -t rsa
[root@hdfs .ssh]# cat id_rsa.pub >> authorized_keys

2.3安装hadoop环境(若集群则配置Name后复制到同目录Data结点）

创建Hadoop目录并将下载好的JDK拷贝到目录中
[root@hdfs ~]# mkdir /usr/local/Hadoop
[root@hdfs ~]# mkdir /usr/local/Hadoop/hadoopdata
[root@hdfs Hadoop]# tar -zxvf hadoop-2.10.0.tar.gz

2.3.1将JAVA_HOME配置到Hadoop启动命令中

[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/hadoop-env.sh
注释掉 export JAVA_HOME=${JAVA_HOME}
添加 export JAVA_HOME=/usr/local/Java/jdk1.8.0_241

2.3.2 配置core-site.xml

[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/core-site.xml
在<configuration>和</configuration>之间加入的代码

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hdfs.hadoop:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/Hadoop/hadoopdata</value>
</property>

core-site.xml

2.3.3 配置hdfs-site.xml

[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/hdfs-site.xml
在<configuration>和</configuration>之间加入的代码

<property>
                <name>dfs.replication</name>
                <value>1</value>   #DataNode数量
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/Hadoop/hadoopdata/dfs/name</value>   #namenode位置
            </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/Hadoop/hadoopdata/dfs/data</value>    #DataNode位置
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>192.168.1.36:50090</value>
        </property>

hdfs-site.xml

2.2.4配置yarn-site.xml

[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/yarn-site.xml
在<configuration>和</configuration>之间加入的代码

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.address</name>
        <value>hdfs.hadoop:18040</value>
</property>
<property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hdfs.hadoop:18030</value>
</property>
<property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hdfs.hadoop:18025</value>
</property>
<property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hdfs.hadoop:18141</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hdfs.hadoop:18088</value>
</property>

yarn-site.xml

2.3.5 配置mapred-site.xml

[root@hdfs hadoop]# cp /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml.template /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml
[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml
在<configuration>和</configuration>之间加入的代码

<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

mapred-site.xml

2.3.6 配置slaves

[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/slaves
将DataNode的机器IP（或机器名）写入配置文件

2.4配置Hadoop环境变量(若集群则每台都需要配置）

[root@hdfs ~]# vim .bash_profile

export    HADOOP_HOME=/usr/local/Hadoop/hadoop-2.10.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

[root@hdfs ~]# source .bash_profile

2.5格式化hadoopdata目录（若集群需要先将Hadoop目录拷贝到其他DataNode机器）

[root@hdfs ~]# hadoop namenode -format

2.6启动Hadoop集群

[root@hdfs ~]# start-all.sh（约5分钟）
[root@hdfs ~]# jps 验证启动结果

验证安装情况

三、将HDFS注册到GeoAnalytics Server中

3.1使用dfs命令创建arcgis数据文件夹

[root@hdfs sbin]# hdfs dfs -mkdir -p /data/arcgis

3.2将数据文件夹注册到GeoAnalytics Server

将hdfs注册到GA

验证注册结果

验证结果

ArcGIS GeoAnalytics Server配置HDFS存储