Hadoop集群搭建:12.Azkaban调度安装

一、准备条件:

将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到/software目录下

azkaban-web-server-2.5.0.tar.gz

azkaban-executor-server-2.5.0.tar.gz

azkaban-sql-script-2.5.0.tar.gz

mysql-libs.zip,已安装不需要重安

二、安装Azkaban

1,在/module/目录下创建azkaban目录:mkdir azkaban

2,解压azkaban-web-server-2.5.0.tar.gz、azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz到/module/azkaban目录下

tar -zxvf azkaban-web-server-2.5.0.tar.gz -C/module/azkaban/

tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /module/azkaban/

tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C /module/azkaban/

3,对解压后的文件重新命名

mv azkaban-web-2.5.0/ server

mv azkaban-executor-2.5.0/ executor

4,azkaban脚本导入

进入mysql,创建azkaban数据库,并将解压的脚本导入到azkaban数据库。

mysql -uroot -p000000

create database azkaban;

 use azkaban;

source /module/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql

注:source后跟.sql文件,用于批量处理.sql文件中的sql语句。

exit;

5,在/module/azkaban目录下生成密钥库

Keytool是java数据证书的管理工具,使用户能够管理自己的公/私钥对及相关证书。

-keystore指定密钥库的名称及位置(产生的各类信息将不在.keystore文件中)

-genkey在用户主目录中创建一个默认文件".keystore"

-alias  对我们生成的.keystore进行指认别名;如果没有默认是mykey

-keyalg  指定密钥的算法RSA/DSA默认是DSA

6,生成 keystore的密码及相应信息的密钥库

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

输入密钥库口令:  

再次输入新口令:

。。。。。省略,见图

再次输入新口令:

注意:密钥库的密码至少必须6个字符,可以是纯数字或者字母或者数字和字母的组合等等密钥库的密码最好和<jetty> 的密钥相同,方便记忆


秘钥设置

7,将keystore 移动到 azkaban web服务器根目录中 :mv keystore /module/azkaban/server/

8,先配置好服务器节点上的时区,查看/usr/share/zoneinfo/Asia 目录下有没有shanghai时区,没有的话就要用tzselect生成。

生成命令:tzselect,有的话不需要生成

三、配置文件

1,Web服务器配置

进入/module/azkaban/server/conf 目录,打开azkaban.properties文件:vi azkaban.properties

2,按照如下配置修改azkaban.properties文件。

#Azkaban Personalization Settings

#服务器UI名称,用于服务器上方显示的名字

azkaban.name=Test

#描述

azkaban.label=My Local Azkaban

#UI颜色

azkaban.color=#FF3601

azkaban.default.servlet.path=/index

#默认web server存放web文件的目录

web.resource.dir=/module/azkaban/server/web/

#默认时区,已改为亚洲/上海 默认为美国

default.timezone.id=Asia/Shanghai


#Azkaban UserManager class

user.manager.class=azkaban.user.XmlUserManager

#用户权限管理默认类(绝对路径)

user.manager.xml.file=/module/azkaban/server/conf/azkaban-users.xml


#Loader for projects

#global配置文件所在位置(绝对路径)

executor.global.properties=/module/azkaban/executor/conf/global.properties

azkaban.project.dir=projects


#数据库类型

database.type=mysql

#端口号

mysql.port=3306

#数据库连接IP

mysql.host=node1

#数据库实例名

mysql.database=azkaban

#数据库用户名

mysql.user=root

#数据库密码

mysql.password=000000

#最大连接数

mysql.numconnections=100


# Velocity dev mode

velocity.dev.mode=false


# Azkaban Jetty server properties.

# Jetty服务器属性.

#最大线程数

jetty.maxThreads=25

#Jetty SSL端口

jetty.ssl.port=8443

#Jetty端口

jetty.port=8081

#SSL文件名(绝对路径)

jetty.keystore=/module/azkaban/server/keystore

#SSL文件密码

jetty.password=000000

#Jetty主密码与keystore文件相同

jetty.keypassword=000000

#SSL文件名(绝对路径)

jetty.truststore=/module/azkaban/server/keystore

#SSL文件密码

jetty.trustpassword=000000


# Azkaban Executor settings

executor.port=12321


# mail settings

mail.sender=

mail.host=

job.failure.email=

job.success.email=


lockdown.create.projects=false


cache.directory=cache


azkaban.properties

3,web服务器用户配置

在azkaban web服务器安装目录 conf目录,按照如下配置修改azkaban-users.xml文件,增加管理员用户。:vim azkaban-users.xml

<azkaban-users>

<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />

<user username="metrics" password="metrics" roles="metrics"/>

<user username="admin" password="admin" roles="admin,metrics" />   增加这一个配置

<role name="admin" permissions="ADMIN" />

<role name="metrics" permissions="METRICS"/>

</azkaban-users>


azkaban-users.xml

四、执行服务器配置

1,进入/module/azkaban/executor/conf,执行服务器安装目录conf,打开azkaban.properties:vi azkaban.properties

2,按照如下配置修改azkaban.properties文件。

#Azkaban

#时区

default.timezone.id=Asia/Shanghai


# Azkaban JobTypes Plugins

#jobtype插件所在位置

azkaban.jobtype.plugin.dir=plugins/jobtypes


#Loader for projects

executor.global.properties=/module/azkaban/executor/conf/global.properties

azkaban.project.dir=projects


database.type=mysql

mysql.port=3306

mysql.host=node1

mysql.database=azkaban

mysql.user=root

mysql.password=000000

mysql.numconnections=100


# Azkaban Executor settings

#最大线程数

executor.maxThreads=50

#端口号(如修改,请与web服务中一致)

executor.port=12321

#线程数

executor.flow.threads=30


执行器azkaban.properties

五、启动executor服务器

/module/azkaban/executor,在executor服务器目录下执行启动命令:bin/azkaban-executor-start.sh

六、启动web服务器

/module/azkaban/server,在azkaban web服务器目录下执行启动命令:bin/azkaban-web-start.sh

注意:先执行executor,再执行web,避免Web Server会因为找不到执行器启动失败。

如果启动web显示密码口令不正确,就把前面生成的 keystore 文件删掉,重新生成

七,jps查看进程

八,登陆web:https://node1:8443

在登录中输入刚才在azkaban-users.xml文件中新添加的户用名(admin)及密码(admin),点击login。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。