在CDH中oozie执行某个任务修改时区和cron表达式的配置使用

时区

时区概念大家应该知道,地球上按照经纬度将地球划分为二十四个时区(东、西各12个时区),每两个相邻的时区间时间上相差1小时。标准时间概念UTC是世界标准时间,指的是零时区(英国格林尼治天文台旧址)里的时间。中国时区中国所在的时区为东八区,所以中国的时间应该是UTC时间加上8个小时,即常见的UTC+8时间。oozie所用时区oozie规定只使用UTC时间,也就是说,我们在做定时任务调度的时候,所使用的时间是标准时间而不是北京时间,所以假如我们要在2014年6月19号上午9点开始我们的定时任务,那我们的开始时间就要设定为2014年6月19号凌晨1点

cloudera oozie默认时区是UTC,在开发oozie任务时必须在期望执行的时间上减去8小时,很不习惯。记录下修改时区的配置操作。

1. cloudera oozie配置—>Oozie Server Default Group -->高级-->oozie-site.xml 的 Oozie Server 高级配置代码段(安全阀) 添加<property>** <name>oozie.processing.timezone</name>**** <value>GMT+0800</value>**</property> 

2. oozie ui 中配置


3.任务开发过程中,有时间参数的注意格式,如:start_date=2016-02-15T08:28+0800若是coordinator应用,需注意coordinator.xml文件timezone属性值如下timezone="Asia/Shanghai"


oozie循环执行某个任务

coordinator.xml

#frequency执行频率 ${coord:minutes(5)}为coordinator内置的EL function (Expression Language)

EL常量


常量表示形式 含义说明

${coord:minutes(int n)} 返回日期时间:从一开始,周期执行n分钟

${coord:hours(int n)} 返回日期时间:从一开始,周期执行n * 60分钟

${coord:days(int n)} 返回日期时间:从一开始,周期执行n * 24 * 60分钟

${coord:months(int n)} 返回日期时间:从一开始,周期执行n * M * 24 * 60分钟(M表示一个月的天数)

${coord:endOfDays(int n)} 返回日期时间:从当天的最晚时间(即下一天)开始,周期执行n * 24 * 60分钟

${coord:endOfMonths(1)} 返回日期时间:从当月的最晚时间开始(即下个月初),周期执行n * 24 * 60分钟

${coord:current(int n)} 返回日期时间:从一个Coordinator动作(Action)创建时开始计算,第n个dataset实例执行时间

${coord:dataIn(String name)} 在输入事件(input-events)中,解析dataset实例包含的所有的URI

${coord:dataOut(String name)} 在输出事件(output-events)中,解析dataset实例包含的所有的URI

${coord:offset(int n, String timeUnit)} 表示时间偏移,如果一个Coordinator动作创建时间为T,n为正数表示向时刻T之后偏移,n为负数向向时刻T之前偏移,timeUnit表示时间单位(选项有MINUTE、HOUR、DAY、MONTH、YEAR)

${coord:hoursInDay(int n)} 指定的第n天的小时数,n>0表示向后数第n天的小时数,n=0表示当天小时数,n<0表示向前数第n天的小时数

${coord:daysInMonth(int n)} 指定的第n个月的天数,n>0表示向后数第n个月的天数,n=0表示当月的天数,n<0表示向前数第n个月的天数

${coord:tzOffset()} ataset对应的时区与Coordinator Job的时区所差的分钟数

${coord:latest(int n)} 最近以来,当前可以用的第n个dataset实例

${coord:future(int n, int limit)} 当前时间之后的dataset实例,n>=0,当n=0时表示立即可用的dataset实例,limit表示dataset实例的个数

${coord:nominalTime()} nominal时间等于Coordinator Job启动时间,加上多个Coordinator Job的频率所得到的日期时间。例如:start=”2009-01-01T24:00Z”,end=”2009-12-31T24:00Z”,frequency=”${coord:days(1)}”,frequency=”${coord:days(1)},则nominal时间为:2009-01-02T00:00Z、2009-01-03T00:00Z、2009-01-04T00:00Z、…、2010-01-01T00:00Z

${coord:actualTime()} Coordinator动作的实际创建时间。例如:start=”2011-05-01T24:00Z”,end=”2011-12-31T24:00Z”,frequency=”${coord:days(1)}”,则实际时间为:2011-05-01,2011-05-02,2011-05-03,…,2011-12-31

${coord:user()} 启动当前Coordinator Job的用户名称

${coord:dateOffset(String baseDate, int instance, String timeUnit)} 计算新的日期时间的公式:newDate = baseDate + instance * timeUnit,如:baseDate=’2009-01-01T00:00Z’,instance=’2′,timeUnit=’MONTH’,则计算得到的新的日期时间为’2009-03-01T00:00Z’。

${coord:formatTime(String timeStamp, String format)} 格式化时间字符串,format指定模式

 oozie job -config /root/app/job.properties -run  启动oozie 执行具体的配置文件


oozie cron表达式二

注意在frequency上使用${coord:days(1)} 这样的表达式要加美元符。

使用cron 表达式不要加美元符





最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容

  • Q 未使用Oozie 系统参数之前弊端 补历史数据,只能通过脚本中循环遍历方式,成本高、耗时长、未使用并行或并行比...
    826c122e2950阅读 1,453评论 0 0
  • HUE 的 Oozie 中获取 'yyyy-MM-dd' 格式前一天的时间 ${coord:formatTime(...
    帅可儿妞阅读 239评论 0 0
  • Coordinator Overview 用户在数据处理的过程中可能会使用到map-reduce, hadoop-...
    PunyGod阅读 2,881评论 0 1
  • 目录 Oozie(基于cdh平台) 1 一、Oozie 简介 1 二、Oozie的功能模块介绍 1 三oozie部...
    陈朝辉_39f7阅读 839评论 0 0
  • 时区概念 大家应该知道,地球上按照经纬度将地球划分为二十四个时区(东、西各12个时区),每两个相邻的时区间时间上相...
    尼小摩阅读 288评论 0 1