第七章----RabbitMQ集群和镜像队列

1. 集群简介

  1. RabbitMQ 集群中的所有节点都会备份所有的元数据信息:

    • 队列元数据: 队列的名称及属性
    • 交换器: 交换器的名称及属性
    • 绑定关系元数据: 交换器与队列或者交换器与交换器之间的绑定关系
    • vhost元数据: 为vhost 内的队列、交换器和绑定提供命名空间及安全属性
集群存储关系

2. RabbitMQ 节点类型:磁盘节点(disc)(默认)、内存节点(ram)

内存节点将所有的队列、交换器、绑定关系、用户、权限和vhost的元数据定义都存储在内存中,而磁盘节点则将这些信息存储到磁盘中。

如果集群中唯一的磁盘节点宕机,集群虽然可以保持收发消息但不能进行执行创建队列、交换器、绑定关系、用户,以及更改权限、添加或删除集群节点的操作。

在内存节点重启后,它们会连接到预先配置的磁盘节点,下载当前集群元数据的副本。

2. 单机多节点

在一台机器上部署多个RabbitMQ 服务节点,需要确保每个节点都有独立的名称、数据存储位置、端口号(包括插件的端口号)等。

以一台机器运行3个rabbit节点为例,确保这台机器已经正常运行rabbit,首先停掉rabbit服务,关闭可视化页面插件,然后开始启动多节点搭建集群。

  • 设置名称、端口 启动rabbit三个节点
RABBITMQ_NODENAME=rabbit1 RABBITMQ_NODE_PORT=5672 rabbitmq-server -detached
RABBITMQ_NODENAME=rabbit2 RABBITMQ_NODE_PORT=5673 rabbitmq-server -detached
RABBITMQ_NODENAME=rabbit3 RABBITMQ_NODE_PORT=5674 rabbitmq-server -detached

# 如果需要开启可视化页面插件 上面执行语句需加上这句话配置不同端口号
RABBITMQ_SERVER_START_ARGS="-rabbitmq_management listener [{port , 15672}] "
  • 把rabbit2以内存节点身份加入到集群中
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z stop_app
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z reset
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z join_cluster rabbit1@iZm5e5v1gnvihwh0k62o37Z --ram
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z start_app
  • 把rabbit3以内存节点身份加入到集群中
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z stop_app
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z reset
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z join_cluster rabbit1@iZm5e5v1gnvihwh0k62o37Z --ram
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z start_app
  • 开启rabbit1的可视化页面插件
rabbitmq-plugins -n rabbit1 enable rabbitmq_management
  • 查看集群
rabbitmqctl -n rabbit1 cluster_status

至此RabbitMQ单机多节点集群搭建完毕!

3. 多机多节点集群

准备3台物理机,分别安装好rabbit,主机名为:rabbit1、rabbit2、rabbit3。RabbitMQ集群对延迟非常敏感,应当只在本地局域网内使用。

  • 配置各个节点的hosts 文件
vim /etc/hosts

192.168.89.101 rabbit1
192.168.89.102 rabbit2
192.168.89.103 rabbit3
  • 复制RabbitMQ 的cookie 文件到各个节点,cookie 相当于密钥令牌,集群中的RabbitMQ 节点需要通过交换密钥令牌以获得相互认证。
# 位置
/var/lib/rabbitmq/.erlang.cookie
  • 启动各个节点
systemctl  start rabbitmq-server.service 
  • 配置rabbit2加入rabbit1集群
# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app

# 清空节点状态
rabbitmqctl reset

# 将 rabbit2加入rabbit1集群
rabbitmqctl join_cluster rabbit@rabbit1

# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app
  • 配置rabbit3加入rabbit1集群
# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app

# 清空节点状态
rabbitmqctl reset

# 将 rabbit3加入rabbit1集群 --ram 以内存节点加入
rabbitmqctl join_cluster rabbit@rabbit1 --ram

# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app
  • 查看集群状态
rabbitmqctl cluster_status
  • 修改节点类型
# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app

# 更改节点类型 disc ram
rabbitmqctl change_cluster_node_type disc

# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app
  • 删除集群节点
# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app

# 清空节点状态
rabbitmqctl reset

# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app

4. 镜像队列

为了实现高可用,RabbitMQ提供了镜像队列机制,所谓镜像队列其实就是在另外一个RabbitMQ服务器Broker存放一个该队列的一个拷贝队列,实现队列内消息的冗余存储。该模式带来的副作用也很明显,随着镜像队列越来越多,会大大消耗掉系统性能。
镜像队列解决的是消息高可用问题,而不是基于负载均衡实现的高吞吐量问题。高吞吐量主要是通过RabbitMQ集群来实现的。

1. 在控制台配置镜像策略

配置镜像队列
  • Name: policy的名称
  • Pattern: queue的匹配模式(正则表达式)
  • Apply to:使用对象
  • Priority: 可选参数, policy的优先级
  • Definition: 镜像定义,包括三个部分 ha-mode,ha-params,ha-sync-mode
    1. ha-mode: 指明镜像队列的模式
      • all:表示在集群所有的节点上进行镜像
      • exactly:表示在指定个数的节点上进行镜像,节点的个数由ha-params指定
      • nodes:表示在指定的节点上进行镜像,节点名称通过ha-params指定
    2. ha-params: ha-mode模式需要用到的参数
    3. ha-sync-mode: 镜像队列中消息的同步方式,有效值为automatic,manually

2. 用命令配置镜像队列

rabbitmqctl  set_policy  fzb-ha  "^hello"  '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'

3. 镜像队列机制

镜像队列机制是基于Master-Slave主从模式的,镜像队列所有操作都是只能在Master节点进行操作,产者发布消息到队列,分发消息给消费者,跟踪消费者的消费确认ACK,消费者不管连接的哪个节点最终都会转发到Master节点,然后将这些操作对应的消息由Master节点广播同步给其他节点。

在某种程度上你可以理解镜像队列拥有一个隐藏的fanout交换器,它指示着信道将消息分发到队列的从拷贝上。

传播行为

Master节点宕机时,会从所有slave节点中选择最早加入这个镜像队列集合的slave作为新的master。


不畏失败,不畏挑战

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,319评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,801评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,567评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,156评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,019评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,090评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,500评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,192评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,474评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,566评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,338评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,212评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,572评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,890评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,169评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,478评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,661评论 2 335

推荐阅读更多精彩内容

  • 什么叫消息队列? 消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复...
    Agile_dev阅读 2,365评论 0 24
  • 关于消息队列,从前年开始断断续续看了些资料,想写很久了,但一直没腾出空,近来分别碰到几个朋友聊这块的技术选型,是时...
    预流阅读 584,161评论 51 785
  • 关于消息队列,从前年开始断断续续看了些资料,想写很久了,但一直没腾出空,近来分别碰到几个朋友聊这块的技术选型,是时...
    中v中阅读 1,967评论 0 20
  • 关于消息队列,从前年开始断断续续看了些资料,想写很久了,但一直没腾出空,近来分别碰到几个朋友聊这块的技术选型,是时...
    Johnson_zx阅读 1,106评论 0 5
  • 关于消息队列,从前年开始断断续续看了些资料,想写很久了,但一直没腾出空,近来分别碰到几个朋友聊这块的技术选型,是时...
    Java机械师阅读 544评论 0 2