xxl-job的搭建与使用

定时任务管理

一、定时任务管理系统目标

1. 系统本身需要可高可用,可对任务进行类似失败重试,任务超时,任务负载,故障转移,调度策略等配置

2. 可快速接入定时任务,对于程序语言(php, python, go, java等)可兼容

3. 任务失败可配置告警

基于上述的要求,选择xxl-job作为定时任务管理系统

二、系统介绍

官方文档

image.png

三、xxl-job界面介绍

image.png

1. 用户管理:xxl-job-admin ui的用户体系管理

2. 执行器管理: 执行器是作为xxl-job集群调度的一个执行单元, 可由一个或多个组成, 可对执行器进行单个节点或多个节点(集群)的配置

a. 支持手动注册, 即界面上输入执行器的节点信息

b. 支持自动注册, 由各自节点上的执行器向xxl-job进行服务注册, 记录节点信息(存在可能由于网关或虚拟网络导致节点不可达)

3. 调度日志: 调度器执行定时任务所产生的日志查询界面

4. 运行报表: 提供xxl-job管理的一系列调度数据

5. 任务管理: 定时任务的管理curd, 下面会详细说

五、定时任务管理

image.png

xxl-job任务新增

image.png

对应的字段解释:

• 基础配置

1. 执行器: 执行器管理中的执行器选择

2. 任务描述: 任务描述,便于任务管理与查询

3. 负责人: 负责人

4. 报警邮件: 当任务执行失败时如果该字段有填写则会将失败信息发送到告警邮件中

• 调度配置

1. 调度类型:

a. 无: 不会自动触发, 需要通过节点触发任务

b. 固定速度(Second): 间隔多少秒自动触发执行一次任务

c. CRON: 根据crontab格式定时触发执行一次任务

• 任务配置

image.png

1. 运行模式: 为上图几种

2. JobHandler: 除开BEAN外,其他的几种运行模式该字段无效, BEAN模式下,该值为对应执行器中注册上来的JobHandler名称,任务执行时可以通过该名称到执行器上执行相应的任务

3. 任务参数: 任务参数

• 高级配置

image.png

1. 路由策略(参考): 可选项为上诉几种,作为调度器调度执行器的策略,效果如下:

a. 第一个: 固定使用执行器中的第一个机器执行任务

b. 轮询: 按照顺序调度执行器中的一个机器执行任务

c. 随机: 随机选择执行器中的一个机器执行任务

d. 一致性hash: 每个任务按照Hash算法固定选择某一台机器,且所有任务均匀散列在不同机器上

e. 最不常使用: 使用频率最低的机器优先被选举

f. 最近最久未使用: 最久未使用的机器优先被选举

g. 故障转移: 按照顺序依次对执行器中的机器进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度

h. 忙碌转移: 按照顺序依次执行器中的机器进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度

i. 分片广播: 执行器中的所有机器都会执行一次任务

2. 子任务ID: 每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取),当本任务执行结束并且执行成功时,将会触发子任务ID所对应的任务的一次主动调度

3. 调度过期策略,(即服务重启,服务器资源不足,上次调度阻塞等原因都可能导致原本该触发的任务错过触发):

a. 忽略(默认): 调度过期后,忽略过期的任务,从当前时间开始重新计算下次触发时间(适用于下次执行可以补救上次任务未执行, 比如本次数据库没更新, 那下次更新补上即可, 更新时间长久的区别不影响业务)

b. 立即执行一次: 调度过期后,立即执行一次,并从当前时间开始重新计算下次触发时间(适用于期望每次任务都能触发, 不希望要重新等待一个任务周期, 但需要考虑如果又再次超期,任务仍不会执行)

对于调度过期策略举个例子, 比如有个任务是每周一执行, 那么在触发调度过期策略时(即当次任务不执行), 默认则会忽略本次不执行,从而开始一个周期的等待,直到下周一再开始执行任务,而立即执行一次,则会立马执行一次任务

4. 阻塞处理策略(指任务的一次运行还没有结束的时候,下一次调度的时间又到了,要怎么处理,用于调度过于密集时执行器来不及处理时的处理策略):

a. 单机串行(默认): 调度请求进入单机执行器后,调度请求进入FIFO队列并以串行方式运行 (等待上一次任务执行完后, 才会执行, 容易造成堆积)

b. 丢弃后续调度: 调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败 (已经存在在执行的任务了, 本次任务标记为失败)

c. 覆盖之前调度: 调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务(停止还在执行的任务, 开始本次新的任务)

对于阻塞处理策略, xxl-job是一个分布式任务调度平台,它采用阻塞处理策略:

1.当任务发送请求时,xxl-job会将任务放入阻塞队列

2.任务将在阻塞队列中等待被处理,当任务被处理时,xxl-job会从阻塞队列中取出任务,同时将任务的状态改为“处理中”

3.xxl-job会监控任务的运行状态,如果发现任务正在运行,但是运行时间超过了预定的阈值,xxl-job将会将任务设置为“超时”状态,并把任务从阻塞队列中移除

4.一旦任务完成,xxl-job会将任务从阻塞队列中移除,并将任务的状态改为“完成”

5. 任务超时时间(默认为0): 大于0才有效, 超时后会主动中断任务

6. 失败重试次数: 任务失败时会根据失败重试次数进行重复任务执行

六、部署

https://www.jianshu.com/p/482d628b40a6?v=1720430653486

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,509评论 6 504
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,806评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,875评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,441评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,488评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,365评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,190评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,062评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,500评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,706评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,834评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,559评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,167评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,779评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,912评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,958评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,779评论 2 354

推荐阅读更多精彩内容