服务化架构下的数据一致性如何保证

在系统服务化的过程中,我们不得不面临的一个问题是多个子系统间业务数据的一致性如何保证,解决这个问题有多种方式。

XA

可能很多人首先会想到XA规范中定义的分布式事务,下图是XA规范中定义的DTP(Distributed Transaction Processing)模型:


但该模式并不适用于如今的互联网应用,主要有以下几点问题:

  1. XA采用2PC,并不能完全保证一致性;
  2. 2PC有同步阻塞问题,并且增加了2次RTTs(round trip times),性能低下;
  3. 服务化架构天然与DTP模型相悖,服务化架构显然是面向服务的,为了解决数据一致性,直接向对方暴露数据库,这还是服务化吗?

本地消息表+MQ

既然分布式事务不行,我们自然想到了本地事务,可以利用本地事务的ACID特性来保证一致性,数据存储之后,再想办法将数据传输给其它系统,做之后的业务处理,如果处理失败,还可以重试。这个过程实现起来并不难,并且有多种实现方式,但每个系统自己去搞成本还是很高的,所以我们追求的是一种通用且相对优雅的方式。目前业界多数都采用本地消息表+MQ的方式,本地消息表设计成一种通用的结构,与业务模型无关,将其放到业务库同实例上,这样就可以保证业务操作和存储消息在同一个事物内,其它线程读取消息表数据,发送到MQ Server(broker),发送成功则删除数据,失败则保留数据,后续会不断重试,直至成功。随后MQ Server进行广播通知其它系统,做后续处理,如果处理失败,MQ Server负责重试。



上面的流程看起来对业务侵入也比较大,但我们可以通过一些手段来屏蔽这些细节:

  • 首先,我们要搭建一个公共的MQ Server;
  • 其次,我们要预先在业务库去建立一个消息表,可以通过运维的手段解决;
  • 最后,我们要提供一个拆箱即用的Message Producer API,屏蔽发送消息的细节,Message Consumer API直接用MQ原生的即可。
@Transactional
public void doSth(Object obj) {
    xxxDao.insert(obj);// 1.biz operation
    Message msg = buildMessage(obj);
    messageProducer.sendMessage(msg);// 2.store msg
}

这套机制从0搭建起来还是需要较大成本的,但搭建完之后将一劳永逸,算是先苦后甜吧。

RocketMQ

那有没有现成的解决方案呢?答案是有的,那就是今年风头很盛的RocketMQ(已成为Apache顶级项目),RocketMQ在其商业版中提供了事物型消息,所谓事物型消息就是保证了业务操作和发送消息满足一致性(业务操作成功,消息一定发送成功,业务操作失败,消息一定未发送,反之也成立),上面描述的方式(本地消息表+MQ)就可以看作是事物型消息,下面引用一下阿里中间件团队博客中的描述。

这里的事务消息指的其实是数据发送者事务消息,简单而言就是在真正地做业务逻辑之前会发送一条半消息到服务端,接下来发送者会执行本地的事务,在完成本地事务之后,如果成功就会向服务端发送一条确认信息,这时候服务端会将之前的半消息事务状态进行变更;如果失败了,服务端就会不断地回调客户端,来保证发送端的事务一致性。

http://jm.taobao.org/2017/03/09/20170309/

这里的关键点是第三步如果失败,要依靠第四步broker回调客户端来保证一致性,这里猜测一下其大概实现,客户端发送消息前,会添加一个事物检查的实现,并开通一个端口,broker回调时会携带着topic、message等信息,客户端依据message信息和自己的业务数据判定是提交或者回滚,可能有些业务场景依据这两个信息无法判定,那客户端依然要建立本地消息表。

其它方案

其它方案大多缺失普适性,比如TCC(Try/Confirm/Cancel),适用于金融领域。


版权声明
本博客所有的原创文章,作者皆保留版权。转载必须包含本声明,保持本文完整,并以超链接形式注明作者高爽和本文原始地址:http://www.jianshu.com/p/8a1c14500ade

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,233评论 6 495
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,357评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,831评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,313评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,417评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,470评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,482评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,265评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,708评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,997评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,176评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,827评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,503评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,150评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,391评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,034评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,063评论 2 352

推荐阅读更多精彩内容