MQ如何方式消息重复消费--幂等性

一、何为幂等性?

其任意多次执行所产生的影响均与一次执行的影响相同

从对系统的影响结果来说:At least once + 幂等消费 = Exactly once。
那么如何实现幂等操作呢?最好的方式就是,从业务逻辑设计上入手,将消费的业务逻辑设
计成具备幂等性的操作。但是,不是所有的业务都能设计成天然幂等的,这里就需要一些方
如果一个函数 f(x) 满足:f(f(x)) = f(x),则函数 f(x) 满足幂等性。
法和技巧来实现幂等。

二、常见幂等性实现实现方式

1.利用数据库的唯一约束实现幂等

  • 发起请求前,预先生成id
  • 正常执行业务逻辑,如果已经消费过,报违反唯一性约束。未消费过,正常执行成功。

2.为更新的数据设置前置条件

(1)业务性条件

给数据变更设置一个前置条件,如果满足条件就更新数据,否则拒绝更新数据,在更新数据的时候,同时变更前置条件中需要判断的数据。这样,重复执行这个操作时,由于第一次更新数据的时候已经变更了前置条件中需要判断的数据,不满足前置条件,则不会重复执行更新数据操作。

比如,刚刚我们说过,“将账户 X 的余额增加 100 元”这个操作并不满足幂等性,我们可
以把这个操作加上一个前置条件,变为:“如果账户 X 当前的余额为 500 元,将余额加
100 元”,这个操作就具备了幂等性。对应到消息队列中的使用时,可以在发消息时在消
息体中带上当前的余额,在消费的时候进行判断数据库中,当前余额是否与消息中的余额相
等,只有相等才执行变更操作。

基于这个思路,不光是可以使用关系型数据库,只要是支持类似“INSERT IF NOT
EXIST”语义的存储类系统都可以用于实现幂等,比如,你可以用 Redis 的 SETNX 命令来
替代数据库中的唯一约束,来实现幂等消费。

(2)类似数据库乐观锁--增加一个version字段

借鉴数据库的乐观锁机制,如:

update t_goods set count = count -1 , version = version + 1 where good_id=2 and version = 1

根据version版本,也就是在操作库存前先获取当前商品的version版本号,然后操作的时候带上此version号。我们梳理下,我们第一次操作库存时,得到version为1,调用库存服务version变成了2;但返回给订单服务出现了问题,订单服务又一次发起调用库存服务,当订单服务传如的version还是1,再执行上面的sql语句时,就不会执行;因为version已经变为2了,where条件就不成立。这样就保证了不管调用几次,只会真正的处理一次。

3.记录并检查操作

  • 如果上面提到的两种实现幂等方法都不能适用于你的场景,我们还有一种通用性最强,适用
    范围最广的实现幂等性方法:记录并检查操作,也称为“Token 机制或者 GUID(全局唯
    一 ID)机制”,实现的思路特别简单:在执行数据更新操作之前,先检查一下是否执行过
    这个更新操作。
  • 具体的实现方法是,在发送消息时,给每条消息指定一个全局唯一的 ID,消费时,先根据
    这个 ID 检查这条消息是否有被消费过,如果没有消费过,才更新数据,然后将消费状态置
    为已消费。
  • 原理和实现是不是很简单?其实一点儿都不简单,在分布式系统中,这个方法其实是非常难
    实现的。首先,给每个消息指定一个全局唯一的 ID 就是一件不那么简单的事儿,方法有很
    多,但都不太好同时满足简单、高可用和高性能,或多或少都要有些牺牲。更加麻烦的是,
    在“检查消费状态,然后更新数据并且设置消费状态”中,三个操作必须作为一组操作保证
    原子性,才能真正实现幂等,否则就会出现 Bug。
  • 比如说,对于同一条消息:“全局 ID 为 8,操作为:给 ID 为 666 账户增加 100 元”,有
  • 可能出现这样的情况:
    这样就会导致账户被错误地增加了两次 100 元,这是一个在分布式系统中非常容易犯的错
    误,一定要引以为戒。
    t0 时刻:Consumer A 收到条消息,检查消息执行状态,发现消息未处理过,开始执
    行“账户增加 100 元”;
    t1 时刻:Consumer B 收到条消息,检查消息执行状态,发现消息未处理过,因为这个
    时刻,Consumer A 还未来得及更新消息执行状态。
    对于这个问题,当然我们可以用事务来实现,也可以用锁来实现,但是在分布式系统中,无
    论是分布式事务还是分布式锁都是比较难解决问题。

参考

http://blog.itpub.net/69940568/viewspace-2666748/
https://blog.csdn.net/wb_zjp283121/article/details/89160929

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,992评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,212评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,535评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,197评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,310评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,383评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,409评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,191评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,621评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,910评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,084评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,763评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,403评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,083评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,318评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,946评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,967评论 2 351

推荐阅读更多精彩内容