学会编译Hadoop非常有必要，Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库(Native Libraries) 的概念。说白了，就是Hadoop的某些功能，必须通过JNT来协调Java类文件和Native代码生成的库文件一起才能工作。linux系统要运行Native 代码，首先要将Native 编译成目标CPU 架构的[.so]文件。而不同的处理器架构，需要编译出相应平台的动态库[.so] 文件，才能被正确的执行，所以最好重新编译一次hadoop源码，让[.so]文件与自己处理器相对应。
首先我们需要一台和生产运行集群架构一致的操作系统，比如Linux CentOS7.5 X86，从云厂商或者虚拟机自行搭建都可以。然后我们需要提前从网上下载好如下软件包，供后面步骤使用。
- cmake-3.24.2.tar.gz（需要源码包，否则没有configure文件，为了安装后面的snappy和protobuf使用）
- snappy-1.1.3.tar.gz（二进制包，否则没有configure文件，hadoop进行压缩解压缩需要用到）
- protobuf-all-21.9.tar.gz（二进制包，否则没有configure文件，是一个数据序列化工具）
- jdk-8u241-linux-x64.tar.gz（Hadoop的执行需要JVM）
- apache-maven-3.8.6-bin.tar.gz（编译hadoop需要）
- hadoop-3.3.0-src.tar.gz
然后第一步，我们登录服务器，并进入到/root/soft目录下，首先安装编译需要的相关依赖：
yum install gcc gcc-c++ make autoconf automake libtool curl lzo-devel zlib-devel openssl openssl-devel ncurses-devel snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst zlib -y
...
Complete!
yum install -y doxygen cyrus-sasl* saslwrapper-devel*
...
Complete!
第二步，手动安装cmake：
#yum卸载已安装cmake，一般版本较低，无论是否安装都卸载一下
yum erase cmake
# 解压
tar zxvf cmake-3.24.2.tar.gz
#进入到目录内进行编译安装
cd cmake-3.24.2
./configure
make && make install
#验证
[root@iZuf6gmsvearrd5uc3emkyZ cmake-3.24.2]# cmake -version
cmake version 3.24.2
CMake suite maintained and supported by Kitware (kitware.com/cmake).
第三步，安装snappy：
#卸载已经安装的
rm -rf /usr/local/lib/libsnappy*
rm -rf /lib64/libsnappy*
#解压
tar zxvf snappy-1.1.3.tar.gz
#进入到目录内进行编译安装
cd snappy-1.1.3
./configure
make && make install
#验证
[root@iZuf6gmsvearrd5uc3emkyZ snappy-1.1.3]# ls -lh /usr/local/lib | grep snappy
-rw-r--r-- 1 root root 511K Nov 1 17:12 libsnappy.a
-rwxr-xr-x 1 root root 955 Nov 1 17:12 libsnappy.la
lrwxrwxrwx 1 root root 18 Nov 1 17:12 libsnappy.so -> libsnappy.so.1.3.0
lrwxrwxrwx 1 root root 18 Nov 1 17:12 libsnappy.so.1 -> libsnappy.so.1.3.0
-rwxr-xr-x 1 root root 253K Nov 1 17:12 libsnappy.so.1.3.0
第四步，安装protobuf：
#解压
tar zxvf protobuf-all-21.9.tar.gz
#进入到目录内进行编译安装
cd protobuf-all-21.9
./autogen.sh
./configure
make && make install
#验证
[root@iZuf6gmsvearrd5uc3emkyZ protobuf-21.9]# protoc --version
libprotoc 3.21.9
第五步，安装和配置JDK：
#解压
tar zxvf jdk-8u65-linux-x64.tar.gz
#配置环境变量
vim /etc/profile
export JAVA_HOME=/root/soft/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile
#验证
[root@iZuf6gmsvearrd5uc3emkyZ soft]# java -version
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)
第六步，安装和配置Maven：
#解压
tar zxvf apache-maven-3.8.6-bin.tar.gz
#配置环境变量
vim /etc/profile
export MAVEN_HOME=/root/soft/apache-maven-3.8.6
export PATH=:$MAVEN_HOME/bin:$PATH
source /etc/profile
#验证
[root@iZuf6gmsvearrd5uc3emkyZ soft]# mvn -v
Apache Maven 3.8.6 (84538c9988a25aec085021c365c560670ad80f63)
Maven home: /root/soft/apache-maven-3.8.6
Java version: 1.8.0_241, vendor: Oracle Corporation, runtime: /root/soft/jdk1.8.0_241/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-862.14.4.el7.x86_64", arch: "amd64", family: "unix"
#修改镜像仓库为国内地址
vim /root/soft/apache-maven-3.8.6/conf/settings.xml
<mirrors>
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
</mirrors>
第七步，编译hadoop：
#解压
tar zxvf hadoop-3.3.0-src.tar.gz
#进入到目录内进行maven编译打包
cd hadoop-3.3.0-src
mvn clean package -Pdist,native -DskipTests -Dmaven.javadoc.skip=true -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib
#参数说明
#Pdist,native ：重新编译生成的hadoop动态库；
#DskipTests ：跳过测试
#-Dmaven.javadoc.skip=true ： 跳过javadoc
#Dtar ：最后把文件以tar打包
#Dbundle.snappy ：添加snappy压缩支持【默认官网下载的是不支持的】
#Dsnappy.lib=/usr/local/lib ：指定snappy在本机编译机器上安装的库路径
#最终编译打包后的目标文件位于当前目录的target下面，
很可惜，进行到这里hadoop-common总是报错执行不下去了，网上搜索很久都没有找到对应的解决方案，暂且搁置了。
其实学会编译Hadoop也不是必须的，官网提供的二进制包实验下来也是可以直接使用的，因此本文的编译工作就不是作为学习Hadoop必须的步骤了，后续有机会再研究如何正确编译。
