1 下载解压
$ wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
$ tar -zxvf hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
2 安装依赖
在hadoop的根目录下有一个BUILDING.txt文件,该文件列出了当前hadoop版本所有的必选依赖包以及可选依赖包,以及安装这些依赖包的apt-get指令。其中jdk以及maven的安装,之前博客有介绍如何安装。现在只需使用如下指令安装其余的依赖包:
$ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
$ sudo apt-get -y install libprotobuf-dev protobuf-compiler
3 编译hadoop
之前提到的BUILDING.txt文件中也有使用maven编译hadoop的指令建议,这里使用如下指令进行编译:
$ mvn package -Pdist,native -DskipTests -Dtar
需要注意的是:不要在-P选项中添加docs参数,添加之后,在我的机器上编译出错,具体原因不明,去掉docs参数可以编译成功。
编译时间较长1530分钟左右,并且在第一次编译时,maven会下载很多相关包当本地**/.m2**目录下,以后再次编译就不需要下载了。当最后出现如下内容时,表示编译成功:
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 14:59.240s
[INFO] Finished at: Fri Nov 11 15:04:44 CST 2016
[INFO] Final Memory: 168M/435M
[INFO] ------------------------------------------------------------------------
编译好的二进制包在如下目录:
hadoop-2.7.3-src/hadoop-dist/target/