RocketMQ 保证消息不丢失

消息从生产到消费,一共经历三个阶段:

  • 生产:Producer创建消息,发送至Broker

  • 存储:Broker将受到的消息存储到磁盘中

  • 消费:Consumer从Broker拉取消息

要保证消息不丢失就需要解决这三个阶段的消息丢失

示意图如下

RocketMQ消息流传的三个阶段.png

生产阶段

生产者只要接收到返回的ack,就代表这个阶段的消息未丢失。

生产者通过网络将消息发送到Broker,然后等待Broker响应ack,此时的网络是不可靠的,极有可能导致消息发不出去,或者Broker在ack时网络故障导致生产者收不到ack

这个阶段有三种发送消息方式:

同步:同步发送消息的时候就会阻塞并等待Broker返回ack

异步:异步发送消息,然后在回调函数中得知Broker是否ack

单向:单向发送消息,只管发送,不管结果,因此无法保证消息不丢失

Broker返回的ack状态如下:

  • SendStatus.SEND_OK:发送成功

  • SendStatus.FLUSH_DISK_TIMEOUT:消息发送成功,但刷盘超时

  • SendStatus.FLUSH_SLAVE_TIMEOUT:消息发送成功,但同步到Slave超时

  • SendStatus.SLAVE_NOT_AVAILABLE:消息发送成功,但此时Slave不可用

发送消息如果失败或者超时,Producer的send方法支持自动重试,默认重试2次,可以通过api修改

// 设置同步重试次数
producer.setRetryTimesWhenSendFailed(3);

// 设置异步重试次数
producer.setRetryTimesWhenSendAsyncFailed(3);
  • 如果同步模式发送失败,则轮转到下一个Broker,如果异步模式发送失败,则只会在当前Broker进行重试。这个方法的总耗时时间不超过sendMsgTimeout设置的值,默认10s。
  • 如果本身向broker发送消息产生超时异常,就不会再重试。

另一种情况,Broker宕机了,一般生产的Broker是集群部署,有多个master和多个slave节点,当消息发送到某个节点的Broker上,然后宕机,producer收到响应失败,会自动重试。

总结:Producer如何保证发送阶段消息可达

失败会自动重试,重试后仍然失败,那么Producer会知道消息没发送成功,这个时候可以进行补偿,或者业务做兜底处理。

Broker是集群部署,高可用,挂了一个节点仍然可以提供服务

存储阶段

Broker收到消息后是先存储在内存中的,然后再持久化到磁盘,Broker刚收到Producer消息存储在内存中,然后发生宕机,就会导致消息丢失

RocketMQ的持久化消息有两种方式:

同步刷盘:Broker收到消息后会在持久化到磁盘完成后才发送ack

异步刷盘:Broker收到消息存到内存后返回ack,然后Broker定期将一组消息持久化到磁盘

默认是异步刷盘,要保证存储阶段不丢失消息,可以修改为同步刷盘,即确保消息持久化后再ack

# 默认是:ASYNC_FLUSH,异步刷盘
flushDiskType = SYNC_FLUSH 

即使使用了同步刷盘,但是Broker刷盘后,磁盘坏了,也会导致消息丢失,不过这种几率应该比较小。

解决方法就是:不仅同步刷盘,并且保证主从同步后,再ack

master端

# 设置同步刷盘才返回ack给producer
flushDiskType = SYNC_FLUSH
# 设置同步消息给salve
brokerRole = SYNC_MASTER

slave端

# 角色为salve
brokerRole = slave
# 设置同步刷盘才返回ack给master
flushDiskType = SYNC_FLUSH

总结:想要在存储阶段保证消息不丢失,可以同步刷盘和主从同步后再发送ack,但是性能肯定会差

消费阶段

在消费时失败了也会导致消息丢失,这个阶段采用重试也可以解决消息不丢失。

所以必须在业务逻辑完成再返回ConsumeConcurrentlyStatus.CONSUME_SUCCESS

否则,返回ConsumeConcurrentlyStatus.RECONSUME_LATER,稍后重试即可

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容