使用Azkaban调度java程序
1、JavaProcess 作业类型案例
JavaProcess 类型可以运行一个自定义主类方法，type 类型为 javaprocess，可用的配置为：
Xms：最小堆
Xmx：最大堆
classpath：类路径
java.class：要运行的 Java 对象，其中必须包含 Main 方法
main.args：main 方法的参数
2、创建maven项目
便于打包，不用添加额外的依赖包
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.alex.azkaban</groupId>
<artifactId>azkaban_mk</artifactId>
<version>1.0-SNAPSHOT</version>
</project>
3、编写java程序
package com.alex.azkaban;
import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.InputStreamReader;
/**
* @author 黑猴子的家
*/
public class AzkabanTest {
public static void main(String[] args) throws Exception {
//todo Ctrl + Alt + o 自动优化包
BufferedReader reader = new BufferedReader(new InputStreamReader(
new FileInputStream("/opt/module/azkaban/jobs/hdfs-site.xml")));
String line;
while((line=reader.readLine())!=null){
System.out.println(line);
}
reader.close();
}
}
4、base.project
[alex@hadoop102 azkaban]$ vim jobs/base.project
azkaban-flow-version: 2.0
5、base.flow
[alex@hadoop102 azkaban]$ vim jobs/base.flow
nodes:
- name: jobA
type: javaprocess
config:
Xms: 100M
Xmx: 200M
java.class: com.alex.azkaban.AzkabanTest
classpath: /opt/module/azkaban/jobs/azkaban_mk.jar
6、打成zip包
[alex@hadoop102 jobs]$ zip base.zip base.flow base.project
adding: base.flow (deflated 23%)
adding: base.project (stored 0%)
7、分发
[alex@hadoop102 jobs]$ xsync.sh azkaban_mk.jar
[alex@hadoop102 jobs]$ xsync.sh hdfs-site.xml
尖叫提示：因为是分布式的，如果不分发，会找不到jar包，也可以使用其它方式来解决，比如把jar包上传到hdfs共享文件系统，或者把jar包打到zip压缩包里面，再或者指定executor来执行
8、Azkaban 多 Executor 模式注意事项
Azkaban 多 Executor 模式是指，在集群中多个节点部署 Executor。在这种模式下，
Azkaban web Server 会根据策略，选取其中一个 Executor 去执行任务。
为确保所选的 Executor 能够准确的执行任务，我们须在以下三种方案任选其一，推荐使
用方案二。
方案一：指定特定的 Executor（hadoop102）去执行任务。
1）在 MySQL 中 azkaban 数据库 executors 表中，查询 hadoop102 上的 Executor 的 id。
mysql> use azkaban;
mysql> show tables;
mysql> select * from executors;
2）在执行工作流程时加入 useExecutor 属性
方案二：在 Executor 所在所有节点部署任务所需脚本和应用
方案三：打入zip包里面
