编译Alluxio源码适配CDH和hadoop3.0.0环境

关于alluxio这里不再详细描述了,相关内容可以参考https://www.jianshu.com/p/f417806156cf

官方提供的可下载的压缩包是适配开源版本的hadoop,而且是支持到hadoop2.X版本的,考虑到目前使用的是CDH环境并且hadoop版本是3.0.0,所以重新编译源代码。

1. 环境准备

  • linux环境: centos7
  • maven: 3.6.2
  • git: 1.8.3.1
  • java: 1.8.0_181

我尝试在windows上面编译,但是总是编译失败,不知道为什么,转而用linux编译

此外,由于网络的原因,在编译的过程中,本人使用了vpn

2. 编译

2.1 编译默认环境

下载源码
git clone git://github.com/alluxio/alluxio.git

如果编译默认环境直接
mvn clean install -DskipTests

编译成功应该如下:


2.2 使用开源hadoop,指定版本

-P<HADOOP_PROFILE> -Dhadoop.version=<HADOOP_VERSION>

比如
mvn clean install -Phadoop-3 -Dhadoop.version=3.0.0 -DskipTests

2.3 使用CDH环境,制定版本

$apacheRelease-cdh$cdhRelease

比如
mvn clean install -Phadoop-3 -Dhadoop.version=3.0.0-cdh6.1.1 -DskipTests

2.4 其他环境

官网中还有说明,支持MapR发行版、Hortonworks发行版,本人并没有尝试,具体可参考:https://docs.alluxio.io/os/user/stable/cn/contributor/Building-Alluxio-From-Source.html

3. 关于CDH的配置

使用cdh环境,集成一些东西,比如mapReduce等会需要修改配置文件,这里不要修改文件,直接在cdh管理页面上配置相关属性,然后重启相关组件即可。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1.前言: 1)生产环境建议使用:CDH、HDP等商业版本,因为多框架整合方面兼容性比较好 2)统一软件安装包下载...
    白面葫芦娃92阅读 1,823评论 2 2
  • ##JDK & Maven & Scala & Git软件安装 & 前置准备**Spark 2.2.0源码的下载地...
    吃柠檬的男孩阅读 504评论 0 1
  • 本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习...
    大数据研习社阅读 4,446评论 1 3
  • 如果官方给的安装包不能满足我们生产环境的要求又或者我们基于自己的需求修改了spark源码,那么我们就需要对spar...
    Sx_Ren阅读 3,302评论 1 1
  • 之前用CDH5.2进行集群的搭建,现需要将CDH支持spark-sql,具体搭建请见CDH离线安装 一:准备环境 ...
    Bloo_m阅读 5,465评论 2 0

友情链接更多精彩内容