RabbitMQ镜像集群+均衡负载

一、概述

为什么会产生消息队列?有几个原因:
不同进程(process)之间传递消息时,两个进程之间耦合程度过高,改动一个进程,引发必须修改另一个进程,为了隔离这两个进程,在两进程间抽离出一层(一个模块),所有两进程之间传递的消息,都必须通过消息队列来传递,单独修改某一个进程,不会影响另一个;

不同进程(process)之间传递消息时,为了实现标准化,将消息的格式规范化了,并且,某一个进程接受的消息太多,一下子无法处理完,并且也有先后顺序,必须对收到的消息进行排队,因此诞生了事实上的消息队列;

RabbitMQ 是比较有代表性的消息队列,因为是基于主从(非分布式)做高可用性的。

RabbitMQ 有三种模式:单机模式、普通集群模式、镜像集群模式。

单机模式: Demo 级别的,一般就是你本地启动了玩玩儿的,没人生产用单机模式。

普通集群模式(无高可用性,主要是提高吞吐量):在多台机器上启动多个 RabbitMQ 实例,每个机器启动一个。你创建的 queue,只会放在一个 RabbitMQ 实例上,但是每个实例都同步 queue 的元数据。你消费的时候,实际上如果连接到了另外一个实例,那么那个实例会从 queue 所在实例上拉取数据过来。缺点就是如果放 queue 的实例宕机了,会导致接下来其他实例就无法从该实例拉取,如果你开启了消息持久化,消息不会丢,但是要等这个实例恢复了,然后才可以继续从这个 queue 拉取数据。

镜像集群模式(高可用性):跟普通集群模式不一样的是,在镜像集群模式下,你创建的 queue,无论元数据还是 queue 里的消息都会存在于多个实例上,就是说,每个 RabbitMQ 节点都有这个 queue 的一个完整镜像,包含 queue 的全部数据的意思。然后每次你写消息到 queue 的时候,都会自动把消息同步到多个实例的 queue 上。

RabbitMQ的5种队列模式


image.png

二、部署安装

1、安装

先行启动三台RQ容器,直接上配置文件

rancher-compose.yml

version: '2'
services:
  rabbitmq3:
    scale: 1
    start_on_create: true
  rabbitmq2:
    scale: 1
    start_on_create: true
  rabbitmq1:
    scale: 1
    start_on_create: true
  lb-rabbitmq-server:
    scale: 1
    start_on_create: true
    lb_config:
      certs: []
      port_rules:
      - priority: 1
        protocol: http
        service: rabbitmq1
        source_port: 15761
        target_port: 15672
      - priority: 2
        protocol: http
        service: rabbitmq2
        source_port: 15761
        target_port: 15672
      - priority: 3
        protocol: http
        service: rabbitmq3
        source_port: 15761
        target_port: 15672
      - priority: 4
        protocol: tcp
        service: rabbitmq1
        source_port: 5761
        target_port: 5672
      - priority: 5
        protocol: tcp
        service: rabbitmq1
        source_port: 5761
        target_port: 5672
      - priority: 6
        protocol: tcp
        service: rabbitmq3
        source_port: 5761
        target_port: 5672
    health_check:
      healthy_threshold: 2
      response_timeout: 2000
      port: 42
      unhealthy_threshold: 3
      initializing_timeout: 60000
      interval: 2000
      reinitializing_timeout: 60000

docker-compose.yml

version: '2'
services:
  rabbitmq3:
    privileged: true
    image: rabbitmq:3.7.17-management
    hostname: rabbit3
    environment:
      RABBITMQ_DEFAULT_USER: jfwang
      RABBITMQ_DEFAULT_PASS: 123456
      RABBITMQ_ERLANG_COOKIE: rabbitcookie
    stdin_open: true
    volumes:
    - /etc/localtime:/etc/localtime
    - /rabbitmq/bgn/rabbit3:/var/lib/rabbitmq/mnesia/rabbit
    tty: true
    links:
    - rabbitmq1:rabbit1
    - rabbitmq2:rabbit2
    labels:
      io.rancher.container.pull_image: always
  rabbitmq2:
    privileged: true
    image: rabbitmq:3.7.17-management
    hostname: rabbit2
    environment:
      RABBITMQ_DEFAULT_USER: jfwang
      RABBITMQ_DEFAULT_PASS: 123456
      RABBITMQ_ERLANG_COOKIE: rabbitcookie
    stdin_open: true
    volumes:
    - /etc/localtime:/etc/localtime
    - /rabbitmq/bgn/rabbit2:/var/lib/rabbitmq/mnesia/rabbit
    tty: true
    links:
    - rabbitmq1:rabbit1
    - rabbitmq3:rabbit3
    labels:
      io.rancher.container.pull_image: always
  rabbitmq1:
    privileged: true
    image: rabbitmq:3.7.17-management
    hostname: rabbit1
    environment:
      RABBITMQ_DEFAULT_USER: jfwang
      RABBITMQ_DEFAULT_PASS: 123456
      RABBITMQ_ERLANG_COOKIE: rabbitcookie
    stdin_open: true
    volumes:
    - /etc/localtime:/etc/localtime
    - /rabbitmq/bgn/rabbit1:/var/lib/rabbitmq/mnesia/rabbit
    tty: true
    links:
    - rabbitmq3:rabbit3
    - rabbitmq2:rabbit2
    labels:
      io.rancher.container.pull_image: always
  lb-rabbitmq-server:
    image: rancher/lb-service-haproxy:v0.9.11
    ports:
    - 15761:15761/tcp
    - 5761:5761/tcp
    labels:
      io.rancher.container.agent.role: environmentAdmin,agent
      io.rancher.container.agent_service.drain_provider: 'true'
      io.rancher.container.create_agent: 'true'

2、加入集群

内存节点和磁盘节点的选择:
每个RabbitMQ节点可配置为内存节点或者磁盘节点(默认)。如果采用集群的方式,可以选择至少配置一个节点为磁盘节点,其余部分配置为内存节点,,这样可以获得更快的响应。所以本集群中配置节点1位磁盘节点,节点2和节点3位内存节点。
在rabbit1中执行以下命令

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app

在rabbit2和rabbit3中执行以下命令加入集群

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbit1
rabbitmqctl start_app

节点设置完成之后,在浏览器访问127.0.0.1:15671,都会看到RabbitMQ集群已经创建成功。


image.png

3、配置镜像队列

镜像队列工作原理:在非镜像队列的集群中,消息会路由到指定的队列。当配置为镜像队列之后,消息除了按照路由规则投递到相应的队列外,还会投递到镜像队列的拷贝。也可以想象在镜像队列中隐藏着一个fanout交换器,将消息发送到镜像的队列的拷贝。

进入任意一个RabbitMQ节点,执行如下命令:

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

可以设置镜像队列,"^"表示匹配所有队列,即所有队列在各个节点上都会有备份。在集群中,只需要在一个节点上设置镜像队列,设置操作会同步到其他节点。

查看集群的状态:

rabbitmqctl cluster_status

4、均衡负载

均衡负载使用Rancher的,配置信息直接包含在rancher-compose.yml中

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,417评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,921评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,850评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,945评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,069评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,188评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,239评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,994评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,409评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,735评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,898评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,578评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,205评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,916评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,156评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,722评论 2 363
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,781评论 2 351