49RabbitMQ 消息队列基础入门--发布与订阅

发布与订阅

在本篇教程中,我们要做的跟之前完全不一样 —— 分发一个消息给多个消费者(consumers)。这种模式被称为“发布/订阅”。
为了描述这种模式,我们将会构建一个简单的日志系统。它包括两个程序——第一个程序负责发送日志消息,第二个程序负责获取消息并输出内容。
在我们的这个日志系统中,所有正在运行的接收方程序都会接受消息。我们用其中一个接收者(receiver)把日志写入硬盘中,另外一个接受者(receiver)把日志打印到屏幕上。
最终,日志消息被广播给所有的接受者(receivers)。
参考代码

cd /home/shiyanlou/

# 下载
wget https://labfile.oss.aliyuncs.com/courses/630/Code.zip

# 解压
unzip Code.zip

下载并解压后,本小节的参考代码在 /home/shiyanlou/Code/4/ 中,你编写的代码需要存放在 /home/shiyanlou/Code/ 中。

交换机

让我们简单的概括一下之前的教程:
发布者(producer):发布消息的应用程序
队列(queue):用于消息存储的缓冲
消费者(consumer):接收消息的应用程序

RabbitMQ 消息模型的核心理念是:发布者(producer)不会直接发送任何消息给队列。事实上,发布者(producer)甚至不知道消息是否已经被投递到队列。
发布者(producer)只需把消息发送给一个交换机(exchange)。交换机非常简单,它一边从发布者接收消息,一边把消息消息推送到队列。交换机必须知道如何处理它接收的消息,是应该推送到指定的队列还是多个队列,或者是直接忽略消息。这些规则是通过交换机类型(exchange type)来定义的。


image.png

有几个可供选择的交换机类型:直连交换机(direct),主题交换机(topic),头交换机(headers)和扇形交换机(fanout)。
我们在这里主要说明最后一个 -- 扇形交换机。先创建一个 fanout 类型的交换机,命名为 logs :

channel.exchange_declare(exchange='logs',
                         type='fanout')

完整的代码为:

#!/usr/bin/env python3
import pika

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='logs', exchange_type='fanout')

connection.close()

这段代码在之后的 emit_log.py 和 receive.py 中都要使用。等下我们要列出交换机,因此可以保存为 create_exchange.py ,并使用 python3 create_exchange.py 执行它。
扇形交换机(fanout)很简单,你可能从名字上就能猜测出来,它把消息发送给所有的队列,这正是我们日志系统所需要的。
交换机列表
rabbitmqctl 能够列出服务器上所有的交换机:

sudo service rabbitmq-server start

sudo rabbitmqctl list_exchanges
image.png

由于这里 rabbitmq-server 已经启动,所以没有执行 sudo service rabbitmq-server start。

这个列表中有一些叫做 amq.* 的交换机。这些都是默认创建的,不过这时候你还不需要它们。
可以看到我们之前执行了 python3 create_exchange.py,已经创建了类型为 fanout 的 logs 交换机。
匿名的交换机
前面的教程中我们对交换机一无所知,但仍然能够发送消息到队列中。因为我们使用了命名为空字符串("")默认的交换机。
之前我们是这么发送消息的:

channel.basic_publish(exchange='',routing_key='hello',body=message)

exchange 参数就是交换机的名字。空字符串代表默认或者匿名交换机:消息将会根据指定的 routing_key 分发到指定的队列。
现在,我们就可以发送消息到一个具体名字的交换机了:

channel.basic_publish( exchange='logs', routing_key='hello',body=message)

临时队列

你还记得我们使用的队列名吗:hello 和 task_queue。
给一个队列命名是很重要的。我们需要把工作者(workers)指向正确的队列。如果你打算在发布者(producers)和消费者(consumers)之间共享队列的话,给队列命名是十分重要的。
但是这并不适合我们的日志系统。我们打算接收所有的日志消息,而不仅仅是一小部分。我们关心的是最近的消息而不是久的。为了解决这个问题,我们需要做两件事情。
第一步,当我们连接上 RabbitMQ 的时候,我们需要一个全新的,空的队列。我们可以手动创建一个随机的队列名,或者让服务器为我们选择一个随机的队列名(推荐)。我们只需要在调用 queue_declare 方法的时候,不提供 queue 参数就可以了:

result = channel.queue_declare()

这时候我们可以通过 result.method.queue 获得已经生成的随机队列名。它可能是这样子的:amq.gen-U0srCoW8TsaXjNh73pnVAw==。
第二步,当与消费者(consumer)断开连接的时候,这个队列应当被立即删除。 exclusive 标识符即可达到此目的。

绑定(Bindings)

image.png

我们已经创建了一个扇形交换机( fanout )和一个队列。现在我们需要告诉交换机如何发送消息给我们的队列。
交换机和队列之间的联系我们称之为绑定( binding )。

channel.queue_bind(exchange='logs',queue=result.method.queue)

现在,logs 交换机将会把消息加到我们的队列中。
绑定列表
我们可以使用以下命令绑定所有现存的绑定。

sudo rabbitmqctl list_bindings
image.png

如果你使用之前保存的环境,可以看到 hello、task_queue 队列与匿名交换机的绑定。

代码整合

image.png

发布日志消息的程序看起来和之前的没有太大区别。最重要的改变就是我们把消息发送给 logs 交换机而不是匿名交换机。在发送的时候我们需要提供 routing_key 参数,但是它的值会被扇形交换机(fanout exchange)忽略。以下是 emit_log.py 脚本,编写源代码文件 /home/shiyanlou/Code/emit_log.py:

#!/usr/bin/env python3
import pika
import sys

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='logs', exchange_type='fanout')

message = ' '.join(sys.argv[1:]) or "info: Hello World!"
channel.basic_publish(exchange='logs', routing_key='', body=message)
print(" [x] Sent %r" % message)
connection.close()

正如你看到的那样,在连接成功以后,我们声明了一个交换机,这一个很重要的,因为不允许发布消息到不存在的交换机。
如果没有绑定队列到交换器,消息将会丢失。但这个没有所谓,如果没有消费者监听,那么消息就会被忽略。receive_logs.py 的代码,编写源代码文件 /home/shiyanlou/Code/receive_logs.py:

#!/usr/bin/env python3
import pika

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='logs', exchange_type='fanout')

result = channel.queue_declare(queue='', exclusive=True)
queue_name = result.method.queue

channel.queue_bind(exchange='logs', queue=queue_name)

print(' [*] Waiting for logs. To exit press CTRL+C')


def callback(ch, method, properties, body):
    print(" [x] %r" % body)


channel.basic_consume(
    queue=queue_name, on_message_callback=callback, auto_ack=True)

channel.start_consuming()

这样我们就完成了。
首先在终端中输入下面的命令:

# 确保服务已开启
sudo service rabbitmq-server start

打开三个终端,进入代码的目录,分别输入以下三个命令:

cd /home/shiyanlou/Code/
# 创建日志文件
touch logs_from_rabbit.log

# 把日志保存到 log 文件里
python3 receive_logs.py >> logs_from_rabbit.log
# 在屏幕上查看日志
python3 receive_logs.py
# 发送日志
python3 emit_log.py
image.png

打印到屏幕上:


image.png

重新打开一个终端,查看保存到文件里的内容:

cd /home/shiyanlou/Code/

tail -5 logs_from_rabbit.log
image.png

运行 sudo rabbitmqctl list_bindings 你可确认已经创建的队列绑定。你可以看到运行中的两个 receive_logs.py 程序:


image.png
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,658评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,482评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,213评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,395评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,487评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,523评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,525评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,300评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,753评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,048评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,223评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,905评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,541评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,168评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,417评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,094评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,088评论 2 352

推荐阅读更多精彩内容