Hadoop 调度框架
- Linux Crontab
- Azkaban
https://azkaban.github.io/ - Oozie
http://oozie.apache.org/ - Zeus
https://github.com/michael8335/zeus2
Azkaban, Open-source Workflow Manager
Oozie, Workflow Engine for Apache Hadoop
Zeus2, Hadoop job work flow schedule
Apache Oozie Workflow Scheduler for Hadoop
- 一个基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。
- Oozie工作流定义，同JBoss jBPM提供的jPDL一样，也提供了类似的流程定义语言hPDL，通过XML文件格式来实现流程的定义。对于工作流系统，一般都会有很多不同功能的节点，比如分支、并发、汇合等等。
- Oozie定义了控制流节点（Control Flow Nodes）和动作节点（Action Nodes），其中控制流节点定义了流程的开始和结束，以及控制流程的执行路径（Execution Path），如decision、fork、join等；而动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。
WordCount Workflow Example
Oozie, Workflow Engine for Apache Hadoop
-
Oozie Workflow
-
Lifecycle of an Oozie coordinator
-
Oozie Bundle
image.png
Oozie Server Architecture架构图
Oozie server components 服务组件
