Rabbitmq 消息 100% 投递的解决方案!

作者:热心市民小陈
https://blog.csdn.net/weixin_42849915/article/details/87828163

一、前言

现在大多都使用 MQ 来做系统的异构,来做系统的解耦,系统的的模块相当于寄信者与收信者,MQ 则扮演者邮局的角色。作为一个中转的角色,就需要确保消息的100%投递。今天我们就来研究一下如何确保消息的100%的投递。

二、先谈谈rabbitmq的特性

rabbitmq 所做的确保是:只要你把消息投递到 Broker 中,那么我就确保这个消息会送达到消费者的手中。当然这是有前提条件的,比如:

  1. 你需要进行手动应答,

  2. 最起码 Broker 不挂,且消息进行了持久化等。

结合 rabbitmq 的特性来做分析,针对于投递端,我们只需要确保把消息发送到Broker 中即可,那么如何保证可靠性呢,分下列步骤:

  1. 消息成功的发送了出去

  2. 保证 Broker 成功的收到了消息

  3. 生产者收到了 Broker 的确认应答

  4. 消息补偿机制,当前三步都跪了,做一个补偿重发机制

  5. 最后一道屏障,如果第四步重试次数过多,那么说明系统出现问题,我们就需要人工干预了

只要做到上面五步,基本上我们就可以保证,消息投递100%的投递出去。

三、生产者的投递的可靠性保障

3.1 先上一个示意图

image

3.2 就上述的图示,我们逐步解析

  • step1:数据落库,这一步是必须的

  • step2:把消息落库,且初始化其状态为 0 (发送中)

  • step3:把消息投递到 Broker 中

  • step4:Broker 发送成功应答

  • step5:生产者拿到成功应答,修改消息状态为1:(发送成功)
    上面讲述的都是正常的流程,下面讲讲如果出现不正常的解决机制:

  • step6:定时检查消息的状态是否为1

  • step7:如果 step6 的消息的状态仍然为 0 ,则进入重发,重复上述 step1 - step5

  • step8:如果消息重发达到一定的的次数,则人工接入处理,因为此时说明可能是消息

上述的方案看似完美无缺,但是细想,如果在 step4 中 Broker 发送应答的过程中,网络出现问题这个消息没有到达生产者会导致整个流程进入补偿的流程当中,此时 Broker 中就有两条消息,也就是发成了重复的投递的问题,所以接下来我们要在消费端来处理这个问题。

四、消费端的幂等:

4.1 导致需要解决幂等的原因

  • Broker 发送应答消息的时候,消息未到达生产者

  • 消费者在发送应答的时候,消费者挂掉了

4.2 就上述我们的机制的解决

因为上述我的消息都有唯一的标识,所以我们只需要查找对应的消息对应的标识来判断其状态即可

4.3 构建唯一标识的方案

首先说明不同的方案使用不同的应用场景,不要一上来你就说十几万的并发怎么样的,这个慢慢来,一步步往这里走

4.3.1 利用数据库自增id
优点:

1):不能再简单了,在并发不大的情况可以接受
2):对分页和排序是有帮助的

缺点:

1):分库分表和读写分离多住从的情况下不适用
2):性能达不到要求时,不利于扩展
3):不同数据库的语法实现不一样

4.3.2 利用 redis 来生成id
优点:

1):redis 单线程可以生成全局唯一ID
2):可以使用 redis 集群获取更高的吞吐量

缺点:

1):引入新的组件,增加系统复杂度
2):需要注意处理并发问题

4.3.3 利用 twitter 开源的 snowflake

snowflake 是 twitter 开源的一个分布式的 ID 的生成算法,结果是一个 long 的ID,使用 41bit 作为毫秒数,10bit 作为机器 ID(5个 bit 是数据中心,5个 bit 是机器 ID) 12 bit 作为毫秒内的流水号(每个节点每毫秒可以产生 2^12 = 4096 个 ID)最后是一个符号位,

优点:

1):不依赖数据库和其他的中间件,且性能尚可

缺点:

1):是有依赖时间的,如果各个机器的失重不同步就会出现不适全局递增的情况

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,992评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,212评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,535评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,197评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,310评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,383评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,409评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,191评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,621评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,910评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,084评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,763评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,403评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,083评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,318评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,946评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,967评论 2 351

推荐阅读更多精彩内容