ActiveMQ集群消息转发问题整理(一)

环境:

  • ActiveMQ 5.13.4
  • 8000台Client与8台AMQ组成的集群连接
  • 每台Client使用非持久化订阅TOPIC上的消息,TOPIC名称为C类网段地址,如:192.168.1.1的Client 消费 TOPIC:VLAN.192.168.1
  • Client使用failover机制,断线自动重连,自动重建消费者,自动连接时F5不使用会话保持(相当于从一串MQ地址中随机选择一个)
  • 生产者随机连接MQ集群中的一台,往topic上发送非持久化消息
  • MQ集群内部通信是通过互相建立消费者来实现的。比如消费者连接到A,生产者连接到B,那消息发送到B,A会往B建立一个消费者去消费消息,而后再把消息转给连接到自己的消费者

现象:
假设 Client_A连接MQ_A,消费TOPIC_A。消息下发时,出现Client_A接收不到消息的情况。

  1. Client_A连接的MQ_A上只有这个Client_A一个消费者消费TOPIC_A上的消息。

  2. 查看TOPIC的订阅者信息,除了Client_A外,还可能出现该MQ转发到其他MQ上的虚拟消费者,表示发到这个TOPIC的消息需要被转发给其他MQ

  3. 集群内其他所有MQ上的TOPIC_A上查看订阅者,均未出现类似的虚拟消费者,表示消息不会被转发到MQ_A,所以Client_A无法收到消息。

  4. 重启Client,Client会自动飘到集群内其他的MQ上,此时可以正常消费。

  5. 指定MQ_A要求Client_A重启后连接到MQ_A,也可以正常消费。

MQ内部的集群机制是这样的:

  1. MQ_A启动后,检查集群内是否有其他MQ(假设有MQ_B)

  2. MQ_A与MQ_B之间互相建立连接(共两个),A到B的21591端口和B到A的21591端口,相当于互相建立生产者。

  3. 建立A到B的连接后,A开始监听B的所有的系统TOPIC:ActiveMQ.Advisory.Consumer.> (>表示通配符,相当于 *),这个系统TOPIC的功能是当B上出现一个消费者的时候,会往这个TOPIC里发送一条消息。
    比如一个Agent 192.168.1.1 启动后,连接到B,就会建立一个到B上的 TOPIC: VLAN.192.168.1 的消费者,这时MQ_B上的ActiveMQ.Advisory.Consumer.Topic.VLAN.192.168.1 里就会出现一条消息,表示有个消费者与 TOPIC: VLAN.192.168.1 建立了消费关系。
    此时A通过网络连接就可以拿到这条消息,并在本机建立一个虚拟消费者,虚拟消费者消费TOPIC: VLAN.192.168.1 上的消息,并将消息发送给B。此时在A上查看这个TOPIC下的消费者,会发现多了一个NC开头的消费者。可实际上并不是从B上建立的到A的消费者,而是A自己内部建立的虚拟消费者,表示这个TOPIC的消息要被转发到B。

  4. B收到消息以后,将消息转发给Agent

对于源码的解读没什么眉目,可以等以后整理一下集群建立消费者的机制,但是没有看出什么bug来。

于是开发了个日志插件来记录消费者的建立,集群消费者的互建过程。原理就是在消费者建立和移除时,记录该消费者的目的地,consumerid和remoteAddress。目前刚放到测试环境上,明天看看效果。。

目前想到的规避方案:

  1. 尝试不使用C类网段,而是B类或者A类网段,这样同一个TOPIC的消费者数量增加,触发BUG的概率就减少了
  2. 设计一个机制可以发现这个问题,然后重启Client
  3. 查查AMQ的issue日志,看看是否新版本解决了这个问题。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,588评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,456评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,146评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,387评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,481评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,510评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,522评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,296评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,745评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,039评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,202评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,901评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,538评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,165评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,415评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,081评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,085评论 2 352

推荐阅读更多精彩内容