Oozie-ActionExecutor

控制节点执行器:

StartActionExecutor.class
EndActionExecutor.class
KillActionExecutor.class
ForkActionExecutor.class
JoinActionExecutor.class

任务执行器:

org.apache.oozie.action.decision.DecisionActionExecutor
org.apache.oozie.action.hadoop.JavaActionExecutor
org.apache.oozie.action.hadoop.FsActionExecutor
org.apache.oozie.action.hadoop.MapReduceActionExecutor
org.apache.oozie.action.hadoop.PigActionExecutor
org.apache.oozie.action.hadoop.HiveActionExecutor
org.apache.oozie.action.hadoop.ShellActionExecutor
org.apache.oozie.action.hadoop.SqoopActionExecutor
org.apache.oozie.action.hadoop.DistcpActionExecutor
org.apache.oozie.action.hadoop.Hive2ActionExecutor
org.apache.oozie.action.ssh.SshActionExecutor
org.apache.oozie.action.oozie.SubWorkflowActionExecutor
org.apache.oozie.action.email.EmailActionExecutor
org.apache.oozie.action.hadoop.SparkActionExecutor

本文关注点是wf满足了条件之后 action如何执行并且将结果反馈的;

diagram4.png

Oozie系统没有自己专属的执行机器,oozie采用的策略是 将不同的任务都封装成一个 map-reduce任务,提交到hadoop集群来执行,mr任务结束,任务即结束

public class LauncherMapper<K1, V1, K2, V2> implements Mapper<K1, V1, K2, V2>, Runnable {

如果大家写过map-reduce 任务的话,应该可以想到它的实现逻辑。

public void map(K1 key, V1 value, OutputCollector<K2, V2> collector, Reporter reporter) throws IOException {
    try {
        if (configFailure) {
            throw configureFailureEx;
        }
        else {
            String mainClass = getJobConf().get(CONF_OOZIE_ACTION_MAIN_CLASS);
            if (getJobConf().getBoolean("oozie.hadoop-2.0.2-alpha.workaround.for.distributed.cache", false)) {              System.err.println("WARNING, workaround for Hadoop 2.0.2-alpha distributed cached issue (MAPREDUCE-4820) enabled");
            }
            String msgPrefix = "Main class [" + mainClass + "], ";
            int errorCode = 0;
            Throwable errorCause = null;
            String errorMessage = null;
            try {
                new LauncherSecurityManager();
            }
            catch (SecurityException ex) {
                errorMessage = "Could not set LauncherSecurityManager";
                errorCause = ex;
            }
            try {
                setupHeartBeater(reporter);
                setupMainConfiguration();
                // Propagating the conf to use by child job.
                propagateToHadoopConf();
                try {
                    System.out.println("Starting the execution of prepare actions");
                    executePrepare();
                    System.out.println("Completed the execution of prepare actions successfully");
                } catch (Exception ex) {
                    System.out.println("Prepare execution in the Launcher Mapper has failed");
                    throw new LauncherException(ex.getMessage(), ex);
                }
                String[] args = getMainArguments(getJobConf());
                printContentsOfCurrentDir();
                System.out.println();
                System.out.println("Oozie Java/Map-Reduce/Pig action launcher-job configuration");
                System.out.println("=================================================================");
                System.out.println("Workflow job id   : " + System.getProperty("oozie.job.id"));
                System.out.println("Workflow action id: " + System.getProperty("oozie.action.id"));
                System.out.println();
                System.out.println("Classpath         :");
                System.out.println("------------------------");
                StringTokenizer st = new StringTokenizer(System.getProperty("java.class.path"), ":");
                while (st.hasMoreTokens()) {
                    System.out.println("  " + st.nextToken());
                }
                System.out.println("------------------------");
                System.out.println();
                System.out.println("Main class        : " + mainClass);
                System.out.println();
                System.out.println("Maximum output    : "
                        + getJobConf().getInt(CONF_OOZIE_ACTION_MAX_OUTPUT_DATA, 2 * 1024));
                System.out.println();
                System.out.println("Arguments         :");
                for (String arg : args) {
                    System.out.println("                    " + arg);
                }
                System.out.println();
                System.out.println("Java System Properties:");
                System.out.println("------------------------");
                System.getProperties().store(System.out, "");
                System.out.flush();
                System.out.println("------------------------");
                System.out.println();
                System.out.println("=================================================================");

public static void setupLauncherInfo(JobConf launcherConf, String jobId, String actionId, Path actionDir,            String recoveryId, Configuration actionConf, String prepareXML) throws IOException, HadoopAccessorException {
        launcherConf.setMapperClass(LauncherMapper.class);
        launcherConf.setSpeculativeExecution(false);
        launcherConf.setNumMapTasks(1);
        launcherConf.setNumReduceTasks(0);
        launcherConf.set(LauncherMapper.OOZIE_JOB_ID, jobId);
        launcherConf.set(LauncherMapper.OOZIE_ACTION_ID, actionId);
        launcherConf.set(LauncherMapper.OOZIE_ACTION_DIR_PATH,
 actionDir.toString());
        launcherConf.set(LauncherMapper.OOZIE_ACTION_RECOVERY_ID, recoveryId);
        launcherConf.set(LauncherMapper.ACTION_PREPARE_XML, prepareXML);
        actionConf.set(LauncherMapper.OOZIE_JOB_ID, jobId);
        actionConf.set(LauncherMapper.OOZIE_ACTION_ID, actionId);

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容

  • 自定义实现wordcount的workflow 在yarn上测试wordcount程序 生产一个应用目录,并把wo...
    心_的方向阅读 7,862评论 2 4
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,587评论 18 139
  • 问题Review 因为oozie4.2版本修复了4.1版本的rerun的bug,而且考虑升级成本不大,so在某一天...
    UniMan阅读 1,913评论 0 3
  • 目的这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Had...
    SeanC52111阅读 1,706评论 0 1
  • 鱼鱼啊鱼阅读 213评论 0 0