消息队列之二:Kafka消息模型

在这一节中就主要讲讲kafka模型的构成和其中的一些概念,如主题(topic)、分区(Partition)、生产者、消费者。

如果让我们设计存储存储消息的系统时,一开始可能是这样的


第1版

一个消费者的情况下这样的架构并没有什么问题,现在假设原有的消费者为A模块,现在增加B、C模块也要加入我们的系统,也要消费全部消息,那怎么做呢?你可能会说这简单,把每份数据复制三份推给各个模块就好了,这里就有个问题了,如果要继续新增模块,就意味着 消息队列系统 要随时为其他系统做出改变了,这与中间件的理念不符合。还存在的一个问题就是如果A、B、C三个模块需要的消息都是不同的,那么把所有数据都复制几份,那不是浪费系统资源么?
所以我们就想着消息队列系统应该是要符合按需取各自的消息的且并不用关心子系统的存在。
于是有了第二版的设计

第2版.png

这个模型有个术语叫 发布-订阅 模型
这里存在三个角色:
1.发布者(publisher),消息的发送方
2.订阅者(subscriber),消息的接收方
3.主题(主题),存放消息的容器。

发布者将消息发送到主题中,接收方在消费消息之前必须订阅主题。
这就解决了上边说的所有数据复制几份资源的问题。
然后订阅这一动作是客户端主动,主题无需预先知道由几个客户端的存在。

那第2版的模型就可以了吗?答案是否定的。
为了避免消息的丢失,当消费者消费完一条消息后会发送一个确认码给broker,只有当broker收到确认码后才认为一条消息被成功消费了。在这里就出现有一个矛盾的问题了,消息的消费是有序的,先进先出,又要保证消息的不丢失,那么就变成了同一时刻,任意多台消费者都只能有其中一个在消费,其他都处于等待之中,这就变成了消息队列反而成为了掣肘我们系统的短板.


问题.png

(B系统部署了多个节点,想提高消费的性能)

那Kafka是如何解决这个问题的呢?
我们来看这张图。
Kafka一个Topic下边有多个分区,只在 分区 上保证消息消费的有序性,也就是说分区之间是独立的,消费者在消费分区一的时候,其他消费可以消费分区二、分区三,这样就可以提高整个系统的吞吐量了,同时也可以扩展消费者的数量来提高消费模块的处理性能了(需对应扩容分区数量)。图片懒得画整体的了,直接看关键的

第3版简略图.png

下面是kafka官网上的模型图


官网图.png

那既然有那么多分区,那我们应该如何来保证一些消息的被顺序消费呢,其实上边已经说了,在分区上严格保证消息的顺序性消费,那么只要把要保证消费顺序的消息路由到同一个分区就好了。举个例子,当用户点击购买时,后台会生成一个订单,在用户扣款成功后,并且将订单数据发送到消息队列后,在用户看来就是成功购买了,但是对于对系统来说这仅仅是一个开始,会有很多其他逻辑。假设用户此时发起取消订单,这就要求保证前后两条消息由严格的顺序了,我们可以把订单号进行hash得到分区号,这样就可以保证同一个订单号不管是生成、修改还是取消都能分发到同一个分区,必然能保证严格的消费顺序了。

分区与消费者的关系:

分区与生产者的关系:

分区与消费者组的关系:

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,869评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,716评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,223评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,047评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,089评论 6 395
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,839评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,516评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,410评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,920评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,052评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,179评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,868评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,522评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,070评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,186评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,487评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,162评论 2 356