RocketMQ-Producer

前言

RocketMQ中存在四个角色:Producer、Consumer、Broker、NameServer,在前一篇文章中已经讨论过Consumer的运行原理和线程模型,这篇文章主要探讨Producer的运行原理。参考Consumer的运行原理,我们可以大胆的猜测Producer的线程模型存在两种情况:1、存在一个发送线程负责源源不断的将数据发送到Broker,它和Message产生和包装线程通过阻塞队列通信;2、消息的产生、包装、发送在同一个线程中,只不过在发送时有同步发送和异步发送两种方式。究竟时哪种方式,需要在源码中找到答案。

Producer的启动过程

RocketMQ源码中的example包中给出了Producer的示例用例。整个过程分为四步:1、设定Producer的group;2、启动Producer;3、发送消息;4、关闭Producer。Group用于标志Producer,一般以App为界限。在该节,我们重点分析启动过程。


Produer使用示例

追踪代码发现,start函数调用将会来到DefaultMQProducerImpl类中的start函数,在该函数中将会一次执行:1、配置检查;2、向Client中注册生产者;3、添加Topic的路由信息(初始为空);4、开启MQClientFactory;5、开启心跳检测;6、开启定时任务,负责清理过期的Request。具体代码如图所示:


详细开启流程

那么Producer具体有没有开启一个后台线程去专职负责消息发送,需要进入到MQClientFactory中寻找答案。
进入到MQClientFactory中我们发现,不论是Producer还是Consumer的启动过程均公用MQCLientFactory的启动逻辑。而且可以从该类的名字看出,这个类主要负责执行网络通信。MQClientFactory中首先检测NameServer的地址有没有正确设置,若否则去配置中心拉取;其次启动MQClientAPIImpl,此处主要是开启消息发送的Channel,即链接远端的组件(NameServer、Broker);其次开启定时任务,主要定时从NameServer拉取数据;随后会开启消息拉取线程;然后开启消息拉取负载均衡线程,这些都是为了给Consumer服务的,实际上对于Producer来说最主要的是开启Channel以及和NameServer数据同步。具体代码如下:


Client开启流程

总结来说,Producer的开启过程中最主要的是开启了一个后台线程用于和NameServer同步数据,此外打通了和远程组件之间的数据Channel,显然Producer和Consumer不一样,并没有一个专门发送数据的后台线程

Producer的发送流程

在用户调用send函数后,send函数中首先会做消息的检查,再做Topic的替换,随后调用到DefaultMQProducerImpl中的send函数,默认采用同步发送,最终调用到DefaultMQProducerImpl中的sendDefaultImpl函数中。主要流程是:1、Channel状态检查;2、消息检查;3、设置消息发送的唯一ID,此处主要是用于Broker确认消息的标志;4、提取Topic的路由数据;5、发送消息。整个发送逻辑还包括了错误重试的逻辑。


发送处理逻辑

上述的逻辑最终会调用到sendKernelImpl,在该函数中存在以下的逻辑:确认Topic的路由信息,若Topic的路由信息有误则会从NameServer获取最新的路由数据;随后执行相应的钩子函数;其后构造消息发送的Request(数据包)。最后通过CLient的API发送数据。
在默认的情况下,Producer采用SYNC的方式发送数据,且没有注册SendCallBack,数据最终会由NettyRemotingClient发送。众所周知,Netty是一个典型的非阻塞网络工具,那么Producer是如何实现同步发送的呢?实现同步的关键就是RocketMQ的ResponseFeature。在发送时会返回一个ResponseFeature,Feature中核心为CountDownLatch。调用Feature中的waiteResponse则会被阻塞,直到Response真正到达,在Netty的响应线程中会putResponse,随后CountDownLatch会唤醒阻塞线程以拿到真正的Response。

总结:Producer默认采用SYNC的方式进行发送,并且发送逻辑中已经实现了重试的逻辑,同步发送的关键是ResponseFeature。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,907评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,987评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,298评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,586评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,633评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,488评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,275评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,176评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,619评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,655评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,265评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2 354

推荐阅读更多精彩内容