不要和陌生人说话,消息中间件之 Topic

开足码力,码动人生,本文首发公众号【 Craig无忌 】,关注这个一言不合就开车的的代码界老司机

本文 GitHub上已经收录 https://github.com/BeKingCoding/JavaKing , 一线大厂面试核心知识点、我的联系方式和技术交流群,欢迎Star和完善

前言

通过之前的两篇文章,向大家介绍了消息中间件 MQ ,大家可以看:

《十分钟入门消息中间件》

《还在纠结秒杀?看看 MQ 如何搞定》

《消息中间件的正确打开方式》

本篇文章以目前比较流行的 RocketMQ 为例,讲解一下相关的技术,帮助大家更好地理解消息中间件。

正文

01 什么是Topic?

Topic 中文含义大家肯定不陌生,直接翻译过来是话题。而在 MQ 里,无论是 RocketMQ 还是 Kafka,都用 Topic 这个名词来代表一种数据的集合。

比如说,现在需要往 MQ 中发送订单的消息,那么我们就可以将这一种类的消息归为一个 Topic,给它取名为 order_info_topic,也就是一个包含了订单信息的数据集合。

在这里插入图片描述

接下来物流系统可以去这个 order_info_topic 中获取订单信息进行发货。简单的总结一下,Topic 并不具有真正的属性,它只是一类数据的集合,不同类型的数据我们应该放到不同的 Topic 中。

也就是说当有商品数据时,这时应该新建一个Topic,假设取名为 product_info_topic,代表这里面放的商品信息。获取商品数据时,消费者应该从这个 Topic 中获取,不会与之前的 order_info_topic 混淆。

当我们真正使用 MQ 时,第一步应该总是先创建一些 Topic,作为数据集合存放不同类型的消息,其实本质上来讲和使用数据库时总是先创建表结构是一样的。

02 Topic 是怎么在 Broker 集群里存储的?

我们知道 RocketMQ 肯定是分布式、集群化部署的,所以才能实现诸如读写分离、主从备份的功能。而 Topic 的存储方式,也分布式存储的一种体现。

设想一下,我们的 APP 非常受欢迎用户量很大,每天都会产生几百万条订单数据。所以系统不停会把数据投放至订单信息 order_info_topic 中,然后订单数据作为非常重要的一环,一般都会在 MQ 集群上再多保留一段时间,最终可能会有几千万的数据量堆积在这个 Topic 中。

而整个系统肯定有多个 Topic ,并且每个都有大量数据,加起来的总和也许是一个惊人的数字,这么大的量级不可能存放在一台机器上的,所以必然是分布式进行存储的。

我的观点是,其实分布式的本质就是三个臭皮匠顶的上一个诸葛亮。如果一台机器能力不够放不下,那就多叫几个帮手,一起放。

Topic 在创建的时候就可以指定让它把数据散落存储到多台 Broker 服务器上,比如一个 Topic 里有 3000 万条数据,此时有 3 台 Broker,那么每台 Broker 上都放 1000 万条数据。


在这里插入图片描述

03 生产者怎么发送消息到 Broker 的 Topic 中?

在讨论这个问题之前,我先简单介绍一个组件 NameServer ,目前大家可以简单理解它为整个 RockerMQ 的管理员,它可以看到集群里其他每个的组件的一举一动,下篇文章我再来详细介绍它。

在生产者发送消息之前,它会和 NameServer 建立一个TCP长连接,然后从 NameServer 那里拉取到最新的路由信息,包括集群里有哪些 Broker,集群里有哪些 Topic,每个 Topic 都存储在哪些 Broker 上。

然后生产者根据这些信息,就可以把自己生产的消息投递到对应的 Topic 内。由于一个 Topic 是分布在多台 Broker 上,可以根据负载均衡算法,无论是傻瓜式 round robine 轮询还是 hash 都可以,从里面选择一台 Broker 机器进行投递就行。

具体的 Broker 选择算法我后面会来细说,反正本质说白了就是生产者选择一台 Broker 之后,建立一个 TCP 长连接发送消息即可。

这里注意的一点,就是生产者一定是投递到 Master Broker 上的,然后 Master Broker 再同步数据给它的 Slave Brokers,实现主从备份,不记得的同学可以回顾一下之前的文章《消息中间件的正确打开方式》

04 总结

本篇文章介绍了消息中间件 MQ 的一个最基础组件 Topic ,简单总结一下:

(1)Topic 是一类数据的集合;

(2)Topic 会分布式的进行存储;

文末福利

最近各大互联网公司的秋招都陆陆续续开始了,还在找工作的小伙伴可以后台回复关键字进入对应的秋招/内推/面试群,我给大家整理了各大公司的内推通道、简历模板还有历年的笔试题,大家要好好准备哦。还可以帮助大家免费修改简历、模拟面试哦~

关注公众号「Craig无忌」

创作不易,各位的支持和认可,就是我创作的最大动力,我们下篇文章见!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343