黑猴子的家:Centos7 编译 Azkaban 3.59.0

1、官网地址

https://azkaban.github.io/

2、下载 Azkaban 3.59 源码

(1)首页 -> Downloads

(2)Releases

We use ‘Github Releases’ for creating version numbers. Release tags can be found here: https://github.com/azkaban/azkaban/releases

(3)GitHub -> azkaban3.59.0 Source code(tar.gz)

2021-05-22日查最新版本是4.0.0


3、安装部署Maven

1)上传Maven安装包

[alex@hadoop102 software]$ mkdir azkaban
[alex@hadoop102 software]$ ls -l azkaban/
-rw-r--r-- 1 root root 8491533 May 20 10:48 apache-maven-3.3.9-bin.tar.gz

2)修改用户组

[alex@hadoop102 software]$ sudo chown -R alex:alex azkaban/

3)解压Maven

[alex@hadoop102 software]$ tar -xzvf azkaban/apache-maven-3.3.9-bin.tar.gz -C ../module/

4)配置环境变量

[alex@hadoop102 apache-maven-3.3.9]$ sudo vim /etc/profile
## MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin
[alex@hadoop102 apache-maven-3.3.9]$ source /etc/profile

5)检查环境变量

[alex@hadoop102 apache-maven-3.3.9]$ mvn -v
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)
Maven home: /opt/module/apache-maven-3.3.9
Java version: 1.8.0_144, vendor: Oracle Corporation
Java home: /opt/module/jdk1.8.0_144/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-862.el7.x86_64", arch: "amd64", family: "unix"

6)创建maven本地仓位置

[alex@hadoop102 module]$ mkdir -p m2/repository

7)配置settings.xml

[alex@hadoop102 apache-maven-3.3.9]$ vim conf/settings.xml
<localRepository>/opt/module/m2/repository</localRepository>
<mirror> 
    <id>alimaven</id> 
    <name>aliyun maven</name> 
    <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>nexus-aliyun</id>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>alimaven-new</id>
    <mirrorOf>central</mirrorOf>
    <name>aliyun maven</name>
    <url>https://maven.aliyun.com/repository/central/</url>
</mirror>
<mirror>
    <id>aliyun-repos</id>
    <name>aliyun-repos</name>
    <url>https://maven.aliyun.com/repository/public</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>sonatype-repos-s</id>
    <name>sonatype-repos-s</name>
    <url>https://oss.sonatype.org/content/repositories/snapshots</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>repo2</id>
    <name>Mirror from Maven Repo2</name>
    <url>http://repo2.maven.org/maven2/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>centor</id>
    <name>Mirror from Maven central</name>
    <url>http://central.maven.org/maven2/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>repo1</id>
    <mirrorOf>central</mirrorOf>
    <name>Human Readable Name for this Mirror.</name>
    <url>https://repo1.maven.org/maven2/</url>
</mirror>
<profile>
    <id>jdk-1.8</id>
    <activation>
        <activeByDefault>true</activeByDefault>
        <jdk>1.8</jdk>
    </activation> 
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
    </properties>
</profile>

4、安装部署Gradle

1)下载地址
https://services.gradle.org/distributions/gradle-4.6-all.zip
发布版本的下载
https://gradle.org/releases/

2)上传gradle

[alex@hadoop102 software]$ ls -l azkaban/
-rw-r--r-- 1 root root 106724289 May 20 11:08 gradle-4.6-all.zip

3)修改用户组

[alex@hadoop102 software]$ sudo chown -R alex:alex azkaban/

4)解压gradle

[alex@hadoop102 software]$ unzip azkaban/gradle-4.6-all.zip -d ../module/

5)配置环境变量

[alex@hadoop102 module]$ sudo vim /etc/profile
## GRADLE_HOME
export GRADLE_HOME=/opt/module/gradle-4.6
export PATH=$PATH:$GRADLE_HOME/bin
[alex@hadoop102 gradle-4.6]$ source /etc/profile

6)检查环境变量

[alex@hadoop102 module]$ gradle -version
------------------------------------------------------------
Gradle 4.6
------------------------------------------------------------
Build time: 2018-02-28 13:36:36 UTC
Revision: 8fa6ce7945b640e6168488e4417f9bb96e4ab46c
Groovy: 2.4.12
Ant: Apache Ant(TM) version 1.9.9 compiled on February 2 2017
JVM: 1.8.0_144 (Oracle Corporation 25.144-b01)
OS: Linux 3.10.0-862.el7.x86_64 amd64

7)配置gradle
配置Gradle使用maven本地仓库,这样Gradle就不会重新下载已经存在maven本地仓库的jar包,从而节省时间和空间。
在环境变量中加入新的系统变量:GRADLE_USER_HOME 变量值是maven本地仓库的路径,本文为例/opt/module/m2/repository
此时,Gradle下载的文件将放到指定的仓库路径中。但是还需要修改build.gradle文件中加入mavenLocal() 引用本地仓库

  repositories { //repositories闭包
    mavenLocal() //配置先从本地仓库寻找jar包,优先寻找上一个配置,找到不执行下面的配置
    mavenCentral() //配置从中央仓库寻找
    google() //第三方仓库
    jcenter() //代码托管库:设置之后可以在项目中轻松引用jcenter上的开源项目
  }

配置GRADLE_USER_HOME


[alex@hadoop102 module]$ sudo vim /etc/profile
export GRADLE_USER_HOME=/opt/module/m2/repository
[alex@hadoop102 module]$ source /etc/profile

配置build.gradle文件

[alex@hadoop102 wrapper]$ cd /opt/module/azkaban-3.84.4/
[alex@hadoop102 azkaban-3.59.0]$ vim build.gradle
 repositories {
     mavenLocal()
     mavenCentral()
 }

5、Ant安装部署

1)上传安装包

[alex@hadoop102 software]$ ls -l azkaban/
-rw-r--r-- 1 root root   5635116 May 20 11:36 apache-ant-1.9.9-bin.tar.gz

2)修改用户组

[alex@hadoop102 software]$ sudo chown -R alex:alex azkaban/

3)解压Ant

[alex@hadoop102 software]$ tar -xzvf azkaban/apache-ant-1.9.9-bin.tar.gz -C ../module/

4)配置环境变量

[alex@hadoop102 module]$ sudo vim /etc/profile
## ANT_HOME
export ANT_HOME=/opt/module/apache-ant-1.9.9
export PATH=$PATH:$ANT_HOME/bin
[alex@hadoop102 module]$ source /etc/profile

5)检查环境变量

[alex@hadoop102 module]$ ant -v
Apache Ant(TM) version 1.9.9 compiled on February 2 2017
Trying the default build file: build.xml
Buildfile: build.xml does not exist!
Build failed

[alex@hadoop102 module]$ ant -version
Apache Ant(TM) version 1.9.9 compiled on February 2 2017

6、Jdk安装部署

[alex@hadoop102 module]$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

7、编译azkaban

1)上传azkaban

[alex@hadoop102 software]$ ls -l azkaban/
-rw-r--r-- 1 root root  19050888 May 20 11:43 azkaban-3.59.0.tar.gz

2)修改用户组

[alex@hadoop102 software]$ sudo chown -R alex:alex azkaban/

3)解压azkaban

[alex@hadoop102 software]$ tar -xzvf azkaban/azkaban-3.59.0.tar.gz -C ../module/

4)修改gradle-wrapper.properties配置文件
目的:防止从网上下载gradle-4.6-all.zip包

[alex@hadoop102 ~]$ cd /opt/module/azkaban-3.59.0/gradle/wrapper/
[alex@hadoop102 wrapper]$ pwd
/opt/module/azkaban-3.59.0/gradle/wrapper
[alex@hadoop102 wrapper]$ ll
total 60
-rw-rw-r-- 1 alex alex 54708 Sep 25  2018 gradle-wrapper.jar
-rw-rw-r-- 1 alex alex   779 Sep 25  2018 gradle-wrapper.properties

[alex@hadoop102 wrapper]$ vim gradle-wrapper.properties
distributionBase=GRADLE_USER_HOME
distributionPath=wrapper/dists
zipStoreBase=GRADLE_USER_HOME
zipStorePath=wrapper/dists
#distributionUrl=https\://services.gradle.org/distributions/gradle-4.6-all.zip
distributionUrl=gradle-4.6-all.zip

5)拷贝gradle包

[alex@hadoop102 wrapper]$ pwd
/opt/module/azkaban-3.59.0/gradle/wrapper
[alex@hadoop102 wrapper]$ cp /opt/software/azkaban/gradle-4.6-all.zip ./

6)安装依赖

[alex@hadoop102 azkaban]$ sudo yum install -y git glibc-headers gcc-c++

7)开始编译源码

[alex@hadoop102 ~]$ cd /opt/module/azkaban-3.59.0/
[alex@hadoop102 azkaban-3.59.0]$ ./gradlew distTar
./gradlew build installDist
./gradlew build installDist -x test

8)编译成功后文件位置

[root@hadoop102 azkaban-3.59.0]# find /opt/module/azkaban-3.59.0/ -name  azkaban*.tar.gz
/opt/module/azkaban-3.59.0/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz
/opt/module/azkaban-3.59.0/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
/opt/module/azkaban-3.59.0/azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz
/opt/module/azkaban-3.59.0/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz
/opt/module/azkaban-3.59.0/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

文件说明
azkaban-db:初始化数据库存储相关。
azkaban-exec-server:调度执行相关。
azkaban-solo-server:单机安装配置相关。
azkaban-web-server:azkaban web页面

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,634评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,951评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,427评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,770评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,835评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,799评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,768评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,544评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,979评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,271评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,427评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,121评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,756评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,375评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,579评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,410评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,315评论 2 352

推荐阅读更多精彩内容