【Elastic-job】实践汇总以及记录遇到的若干问题

1. 版本问题

网上关于Elastic-job的文章有很多,如果初次上手Elastic-job,会发现有些文章依赖的groupId是com.dangdang,还有些甚至是程序员自己写的基于dangdang的jar包自己实现了一套spring boot。

【新闻】停滞数年后,ElasticJob 携首个 Apache 版本 3.0.0-alpha 回归!
https://baijiahao.baidu.com/s?id=1674705760276990789&wfr=spider&for=pc

基于上述文章,可以看到Elastic-job不再是dangdang网的项目了,而是apache shardingsphere的子项目,而3.0.0后的版本,是集成了Spring boot starter的,文档写的也更规范。

本文的实践就是基于shardingsphere-elasticjob 3.0的。

2. 资源链接

官网:https://shardingsphere.apache.org/elasticjob/

  • 提供了中英文两个版本
  • 下载页面:可以下载source code,UI console(TAR, 可独立运行),历史的版本可点击Archive Repository。【更重要的是】,有很详细的PDF文档可以下载,中文版本有104页,资料还是很全的!!!入门看PDF文档完全够了!!!
    Elastic-job download page

Github:https://github.com/apache/shardingsphere-elasticjob

3. 实践版本:

  • 3.1 zookeeper 3.6.0

  • 3.2 Java项目中:

    • Java 17
    • Spring boot:2.6.4
    • elasticjob-lite-spring-boot-starter (3.0.0)
  • 如果项目中要用到trace功能,上述Java项目中我集成了h2嵌入式数据库:

    • spring-boot-starter-data-jpa (版本和Spring boot一致,这里没有特别指定)
    • h2依赖:groupId = com.h2database, artifactId = h2, scope = runtime, version = 1.4.196,【实践1】这里特地的指定了下版本,主要是为了和另一个官网项目UI的版本一致。
  • 如果还想体验Job错误后发送邮件功能(这块功能官方的PDF写的很详细了),上述Java项目中加上:artifactId = elasticjob-error-handler-email, version = 3.0.0

  • 3.3 ElasticJob-Lite-Console,官方的一个小工具,用来查看Job的状态等,是一个独立的项目,下载地址在#2中有介绍。

    • windows下如何运行:bin下start.bat
    • 【实践2】文档上说的启动后端口是8899,而我用3.0.0的跑,默认端口是8088,完整的地址即:http://localhost:8088
    • 【实践3】由于我本地的java home版本太高(jdk17),在运行的时候会发生UI登陆不了的时候,在start.bat中手动set java_home以及path,指定为jdk8即可。
    • 登陆后,Event trace data source,默认下拉只有h2和postgresql,想要集成oracle或者mysql,可以在lib下加上相应的jar即可。
    • 【实践4】这里遇到一个问题,是我在加oracle的时候,地址写的不太对,然后重启UI后,这个项目就一直load有问题,日志就说是oracle地址有问题,但list又出不来以致于无法删除,后来发现在个人目录下有个文件夹叫.elasticjob-console,里面有个文件叫Configuration.xml,这里可以改上述配置,把相应错误的oracle配置去掉即可。

4. 其它实践

4.1 job失效转移:

我们都知道3.0.0版本后的Elastic-job支持在application.yaml中定义job,但如果我们使用以下代码在Controller中动态定义Job,HTTP API为/addJob:

JobConfiguration jobConfig = JobConfiguration.newBuilder("myJob", 3)
.cron("0/5 * * * * ?")
.shardingItemParameters("0=Beijing,1=Shanghai,2=Guangzhou")
.build();

假设这个Controller的项目,布署在3个节点上,instance01:8080, instance02:8080, instance03:8080。
我们在调用http://instance01:8080/addJob后,myJob确实会在instance01节点开始run,但如果此时instance01故障了,myJob默认情况下,并没有自动转移到instance02以及03上。
【实践5】想要job故障转移,必须在节点中先schedule,(zookeeper并不会帮忙做这块),所以需要在instance02、instance03上都调用过/addJob,那么job就会失效转移了。

4.2 jobListener

创建一个jobListener参考:https://shardingsphere.apache.org/elasticjob/current/cn/user-manual/elasticjob-lite/usage/job-listener/listener-interface/
文档上有说:

添加SPI实现
将JobListener实现添加至infra-common下resources/META-INF/services/org.apache.shardingsphere.elasticjob.infra.listener.ElasticJobListener

【实践6】自己在实现的时候,忽略了上述配置,需要在resources下新建目录METE-INF/servises
新建文件:org.apache.shardingsphere.elasticjob.infra.listener
内容(自定义的Listener的类全名):xxx.xxx.MyJobListener

4.3 关于job-error-hander-type=EMAIL的配置:

email configuration

以上图是PDF中截取,我也是参考这个配置来运行我的alert,但发现会提示到不到email.host,【实践7】props应该是具体某个job的配置,不应该和jobs对齐,而应该和上述的jobErrorHandlerType对齐,下面是我的配置:

elasticJob:
  regCenter:
    ...
  jobs:
    my-simple-job:
        ...
        jobErrorHandlerType: EMAIL
        props:
          email:
            host: host
            ...
4.4 官方Q&A:

官网上列了14个问题以及解决方案,有可能在实践过程中真的会遇到:
https://shardingsphere.apache.org/elasticjob/current/cn/faq/

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,524评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,869评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,813评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,210评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,085评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,117评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,533评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,219评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,487评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,582评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,362评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,218评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,589评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,899评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,176评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,503评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,707评论 2 335

推荐阅读更多精彩内容