调度Spark任务Demo
创建一个新的project
image
编写代码
写一段简单的Spark代码，将程序打包
package com.test
import org.apache.spark.{SparkConf, SparkContext}
object AzkabanTest extends App{
val conf = new SparkConf()
.setMaster("local[2]")
.setAppName("azkabanTest")
val sc = new SparkContext(conf)
val data = sc.parallelize(1 to 10)
data.map{_ * 2}.foreach(println)
}
编写调度命令
vi test.job
type=command
command=/usr/install/spark/bin/spark-submit --class com.test.AzkabanTest test-1.0-SNAPSHOT.jar
将这两个文件以zip的形式打包在一起
zip -r xxx.zip azkabanTest
上传工程
目前azkaban只支持zip包，其中要包括.job文件以及一些需要的工程和文件。
image
image
设置离线任务执行周期
如果需要的话可以设置离线任务的执行周期（类似于cron的功能）
image
任务通知
可以设置任务完成或失败进行邮箱通知等操作。
image
一些界面
主界面
image
任务完成情况
image
任务log详情
image
