azkaban配置多节点集群模式部署

azkaban有2种集群模式:

1.首先需要在web-server配置多节点模式

azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

2.配置存储模式
azkaban有2种3模式:
1).local
单机情况下使用

azkaban.storage.type=LOCAL
azkaban.storage.local.basedir=/home/az/LOCAL_STORAGE

2).db
集群、多节点模式
azkaban.storage.type 默认模式,上传zip包存在db的blob字段中

3).hdfs
集群、多节点模式

azkaban.storage.type=HDFS
azkaban.storage.hdfs.root.uri=hdfs://nameservice1/tmp/az
hadoop.conf.dir.path=/etc/hadoop/conf

3.服务启动
多节点集群模式需要先启动所有exec-server,再启动web-server
web-server是启动时加载exec节点的,不会动态刷新(版本3.30.1)

bin/azkaban-executor-start.sh

bin/azkaban-web-start.sh

http://webpaas.com/2017/07/02/azkaban/

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容