RocketMQ--NameServer

前言

前面两篇文章中分享了Producer和Consumer的期待过程,在这篇文章中将会分享NameServer的源码解析。

NameServer的定位

在RocketMQ中,存在四个角色:Producer、Consumer、Broker、NameServer。前三个都好理解,和消息的产生、中转、消费息息相关。而NameServer是以一个协调者的角色出现在RocketMQ中的。可以将NamerServer理解成一个管家,它存储着一些元信息,最重要的是消息的一些路由信息,不论是Producer发送消息的时候还是Consumer消费消息的时候,都需要知道这个Topic在哪个Broker中,NameServer的任务和意义就在于此。

NameServer在设计时将其设计成了一个无状态的服务器,即NameServer可以集群部署,但是NameServer节点之间不存在任何的信息交互,为了保证NameServer服务器之间的信息同步就要求Broker向每一个NameServer实例建立长连接,并且在Broker状态和信息更新时同步到所有的NameServer。一般来说,NameServer的负载很小,对于中等规模的RocketMQ集群而言,只需要两台NameServer实例热备即可,一般不会存在上下线NameServer实例的过程,

NameServer的启动分析

NameServer的启动过程中最重要的是创建了一个NamesrvController,并开启了这个controller。


main函数

构造Controller的过程是解析配置文件的过程,在start函数中,会调用到controller的init方法,在该方法中将会执行加载解析后的配置、开启Netty服务器、初始化线程池,并注册Processor,并注册一个定时任务,该任务会定期的扫描Broker,发现其中无效的Broker并清理。


controller init

在init完毕后,调用controller的start函数,开启网络服务,并开启文件监听服务,文件监听主要是动态的加载配置文件。

NameServer功能分析

在上述的启动分析中我们可以很清楚的看到,启动过程就是初始化配置,并开启Netty服务器的过程,但是我们注意到,它的主要功能处理器是通过registerProcessor函数来注册是,即NameServer的主要功能是由Processor来体现的。


Processor注册

从代码可以看出,集群测试有一个独立的测试Processor。我们先分析默认的Processor。


Processor任务列表

从图中可以清楚的看到Processor的任务,包括上下线Broker,获取Topic路由消息,获取Broker集群消息。

上线Broker

当一个Broker实例被启动时,需要和NameServer建立长链接,此时会触发Broker的上线操作,详细分析见Broker篇。在NameServer中,会从Broker的上线请求中提取出其中的Topic配置信息,并通过RouterInfoManager注册Broker。

在Broker上线这个场景中存在几个情况:1、一个全新的Broker实例加入到Broker集群中;2、Broker的slaver升级成为master。对于第二种,NameServer的记录中必然存在其实例的信息。

在此需要说明的每一个Broker存在一下属性:BrokerName(Broker自己的名字)、cluster(broker所属集群的名字),BrokerAddr(Broker的地址)。相应的在NameServer中存在一下的几个数据结构:ClusterTable(是一个关于Cluster的map,key为clusterName,value是一个Set,记录着集群下的所有Broker)、BrokerAddrTable(存储所有Broker地址的一个map,key是brokerName,value是BrokerData,BrokerData记录着一个Broker的元信息)。根据RocketMQ官方的文档,BrokerName为一组Broker共享,在着一组Broker中存在一个master节点(BrokerId为0)和一系列的slaver节点(BrokerId非0),这些Broker都共享一个BrokerName。

NameServer的Broker上线操作包括一下几个步骤
1、将Broker地址端口信息添加到Broker列表中,
2、随后判断Broker中的Topic配置有没有变更,若出现了变更则更新QueueData。
3、将Broker信息添加到LiveTable中。
4、返回添加结果


Broker上线过程

Broker上线最重要的过程是更新Topic的路由表。此时需要原先的QueueData清除,再添加新的,在这个过程中更新了topicQueueTable。


更新Topic路由信息

获取Topic路由信息

获取路由信息的入口在RouterInfoManager的pickupTopicRouteData()函数。


Topic路由获取入口

在RouterInfoManager中用到了Topic相关的核心数据结构:topicQueueTable。在Broker上线时更新的topicQueueTable数据在此处被用上。具体操作如图。


Topic路由信息获取

从topicQueueTable拿到存储Topic的Broker列表,并填充BrokerName,最后依据BrokerName获取得到每一个Broker小组的BrokerData。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,907评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,987评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,298评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,586评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,633评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,488评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,275评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,176评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,619评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,655评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,265评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2 354

推荐阅读更多精彩内容