2022年 11月 3日

python消息队列_python之消息队列

消息持久化

acknowledgment 消息不丢失的方法

生效方法:channel.basic_consume(consumer_callback, queue, no_ack=False, exclusive=False, consumer_tag=None, arguments=None)

即no_ack=False(默认为False,即必须有确认标识),在回调函数consumer_callback中,未收到确认标识,那么,RabbitMQ会重新将该任务添加到队列中。

生产者代码

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# auth : pangguoping

import pika

# ######################### 生产者 #########################

credentials = pika.PlainCredentials(‘admin’, ‘admin’)

#链接rabbit服务器(localhost是本机,如果是其他服务器请修改为ip地址)

connection = pika.BlockingConnection(pika.ConnectionParameters(‘192.168.1.103′,5672,’/’,credentials))

#创建频道

channel = connection.channel()

# 声明消息队列,消息将在这个队列中进行传递。如果将消息发送到不存在的队列,rabbitmq将会自动清除这些消息。如果队列不存在,则创建

channel.queue_declare(queue=’hello’)

#exchange — 它使我们能够确切地指定消息应该到哪个队列去。

#向队列插入数值 routing_key是队列名 body是要插入的内容

channel.basic_publish(exchange=”,

routing_key=’hello’,

body=’Hello World!’)

print(“开始队列”)

#缓冲区已经flush而且消息已经确认发送到了RabbitMQ中,关闭链接

connection.close()

消费者代码:

import pika

credentials = pika.PlainCredentials(‘admin’, ‘admin’)

# 链接rabbit

connection = pika.BlockingConnection(pika.ConnectionParameters(‘192.168.1.103′,5672,’/’,credentials))

# 创建频道

channel = connection.channel()

# 如果生产者没有运行创建队列,那么消费者创建队列

channel.queue_declare(queue=’hello’)

def callback(ch, method, properties, body):

print(” [x] Received %r” % body)

import time

time.sleep(10)

print

‘ok’

ch.basic_ack(delivery_tag=method.delivery_tag) # 主要使用此代码

channel.basic_consume(callback,

queue=’hello’,

no_ack=False)

print(‘ [*] Waiting for messages. To exit press CTRL+C’)

channel.start_consuming()

消息持久化存储(Message durability)

虽然有了消息反馈机制,但是如果rabbitmq自身挂掉的话,那么任务还是会丢失。所以需要将任务持久化存储起来。声明持久化存储

channel.queue_declare(queue=’wzg’, durable=True) # 声明队列持久化

Ps: 但是这样程序会执行错误,因为‘wzg’这个队列已经存在,并且是非持久化的,rabbitmq不允许使用不同的参数来重新定义存在的队列。因此需要重新定义一个队列

channel.queue_declare(queue=’test_queue’, durable=True) # 声明队列持久化

注意:如果仅仅是设置了队列的持久化,仅队列本身可以在rabbit-server宕机后保留,队列中的信息依然会丢失,如果想让队列中的信息或者任务保留,还需要做以下设置:

channel.basic_publish(exchange=”,

routing_key=”test_queue”,

body=message,

properties=pika.BasicProperties(

delivery_mode = 2, # 使消息或任务也持久化存储

))

消息队列持久化包括3个部分:

(1)exchange持久化,在声明时指定durable => 1

(2)queue持久化,在声明时指定durable => 1

(3)消息持久化,在投递时指定delivery_mode=> 2(1是非持久化)

如果exchange和queue都是持久化的,那么它们之间的binding也是持久化的。如果exchange和queue两者之间有一个持久化,一个非持久化,就不允许建立绑定。

消息公平分发

如果Rabbit只管按顺序把消息发到各个消费者身上,不考虑消费者负载的话,很可能出现,一个机器配置不高的消费者那里堆积了很多消息处理不完,同时配置高的消费者却一直很轻松。为解决此问题,可以在各个消费者端,配置perfetch=1,意思就是告诉RabbitMQ在我这个消费者当前消息还没处理完的时候就不要再给我发新消息了。

852422-20161219230610885-164822105.png

channel.basic_qos(prefetch_count=1)

带消息持久化+公平分发的完整代码

生产者端

#!/usr/bin/env python

import pika

import sys

connection = pika.BlockingConnection(pika.ConnectionParameters(

host=’localhost’))

channel = connection.channel()

channel.queue_declare(queue=’task_queue’, durable=True)

message = ‘ ‘.join(sys.argv[1:]) or “Hello World!”

channel.basic_publish(exchange=”,

routing_key=’task_queue’,

body=message,

properties=pika.BasicProperties(

delivery_mode = 2, # make message persistent

))

print(” [x] Sent %r” % message)

connection.close()

消费者端

#!/usr/bin/env python

import pika

import time

connection = pika.BlockingConnection(pika.ConnectionParameters(

host=’localhost’))

channel = connection.channel()

channel.queue_declare(queue=’task_queue’, durable=True)

print(‘ [*] Waiting for messages. To exit press CTRL+C’)

def callback(ch, method, properties, body):

print(” [x] Received %r” % body)

time.sleep(body.count(b’.’))

print(” [x] Done”)

ch.basic_ack(delivery_tag = method.delivery_tag)

channel.basic_qos(prefetch_count=1)

channel.basic_consume(callback,

queue=’task_queue’)

channel.start_consuming()

Publish\Subscribe(消息发布\订阅)

RabbitMQ的发布与订阅,借助于交换机(Exchange)来实现。

交换机的工作原理:消息发送端先将消息发送给交换机,交换机再将消息发送到绑定的消息队列,而后每个接收端(consumer)都能从各自的消息队列里接收到信息。

955949-20160728150635559-1579454496.png

Exchange有三种工作模式,分别为:Fanout, Direct, Topic

fanout : 所有bind到此exchange的queue都可以接受消息

direct : 通过routingkey和exchange决定的那个唯一的queue可以接受消息

topic : 所有符合routingkey(一个表达式)的routingkey所bind的queue

当我们向队列里发送消息时,其实并不是自己直接放入队列中的,而是先交给exchange,然后由exchange放入指定的队列中。想象下当我们要将一条消息发送到多个队列中的时候,如果没有exchange,我们需要发送多条到不同的队列中,但是如果有了exchange,它会先和目标队列建立一种绑定关系,当我们把一条消息发送到exchange中的时候,exchange会根据之前和队列的绑定关系,将这条消息发送到所有与它有绑定关系的队里中。

发布订阅和简单的消息队列区别在于,发布订阅会将消息发送给所有的订阅者,而消息队列中的数据被消费一次便消失了。所以,RabbitMQ实现发布和订阅时,会为每一个订阅者创建一个队列,二发布者发布消息时,会将消息放置在所有相关队列中。发布订阅本质上就是发布端将消息发送给了exchange,exchange将消息发送给与它绑定关系的所有队列。

exchange type = fanout 和exchange绑定关系的所有队列都会收到信息

模式1 Fanout

任何发送到Fanout Exchange的消息都会被转发到与该Exchange绑定(Binding)的所有Queue上

1.可以理解为路由表的模式

2.这种模式不需要routing_key(即使指定,也是无效的)

3.这种模式需要提前将Exchange与Queue进行绑定,一个Exchange可以绑定多个Queue,一个Queue可以同多个Exchange进行绑定。

4.如果接受到消息的Exchange没有与任何Queue绑定,则消息会被抛弃。

注意:这个时候必须先启动消费者,即订阅者。因为随机队列是在consumer启动的时候随机生成的,并且进行绑定的。producer仅仅是发送至exchange,并不直接与随机队列进行通信。

生产者代码

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# auth : pangguoping

# rabbitmq 发布者

import pika

credentials = pika.PlainCredentials(‘admin’, ‘admin’)

#链接rabbit服务器(localhost是本机,如果是其他服务器请修改为ip地址)

connection = pika.BlockingConnection(pika.ConnectionParameters(‘192.168.1.103′,5672,’/’,credentials))

channel = connection.channel()

# 定义交换机,exchange表示交换机名称,type表示类型

channel.exchange_declare(exchange=’logs_fanout’,

type=’fanout’)

message = ‘Hello Python’

# 将消息发送到交换机

channel.basic_publish(exchange=’logs_fanout’, # 指定exchange

routing_key=”, # fanout下不需要配置,配置了也不会生效

body=message)

print(” [x] Sent %r” % message)

connection.close()

消费者代码

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# auth : pangguoping

# rabbitmq 订阅者

import pika

credentials = pika.PlainCredentials(‘admin’, ‘admin’)

#链接rabbit服务器(localhost是本机,如果是其他服务器请修改为ip地址)

connection = pika.BlockingConnection(pika.ConnectionParameters(‘192.168.1.103′,5672,’/’,credentials))

channel = connection.channel()

# 定义交换机,进行exchange声明,exchange表示交换机名称,type表示类型

channel.exchange_declare(exchange=’logs_fanout’,

type=’fanout’)

# 随机创建队列

result = channel.queue_declare(exclusive=True) # exclusive=True表示建立临时队列,当consumer关闭后,该队列就会被删除

queue_name = result.method.queue

# 将队列与exchange进行绑定

channel.queue_bind(exchange=’logs_fanout’,

queue=queue_name)

print(‘ [*] Waiting for logs. To exit press CTRL+C’)

def callback(ch, method, properties, body):

print(” [x] %r” % body)

# 从队列获取信息

channel.basic_consume(callback,

queue=queue_name,

no_ack=True)

channel.start_consuming()

模式2 Direct

955949-20160728160134966-749218516.png

路由键的工作原理:每个接收端的消息队列在绑定交换机的时候,可以设定相应的路由键。发送端通过交换机发送信息时,可以指明路由键 ,交换机会根据路由键把消息发送到相应的消息队列,这样接收端就能接收到消息了。

任何发送到Direct Exchange的消息都会被转发到routing_key中指定的Queue:

1.一般情况可以使用rabbitMQ自带的Exchange:”” (该Exchange的名字为空字符串), 也可以自定义Exchange

2.这种模式下不需要将Exchange进行任何绑定(bind)操作。当然也可以进行绑定。可以将不同的routing_key与不同的queue进行绑定,不同的queue与不同exchange进行绑定

3.消息传递时需要一个“routing_key”

4.如果消息中中不存在routing_key中绑定的队列名,则该消息会被抛弃。

如果一个exchange 声明为direct,并且bind中指定了routing_key,那么发送消息时需要同时指明该exchange和routing_key.

消费者代码

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# auth : pangguoping

# 消费者

import pika

credentials = pika.PlainCredentials(‘admin’, ‘admin’)

#链接rabbit服务器(localhost是本机,如果是其他服务器请修改为ip地址)

connection = pika.BlockingConnection(pika.ConnectionParameters(‘192.168.1.103′,5672,’/’,credentials))

channel = connection.channel()

# 定义exchange和类型

channel.exchange_declare(exchange=’direct_test’,

type=’direct’)

# 生成随机队列

result = channel.queue_declare(exclusive=True)

queue_name = result.method.queue

severities = [‘error’, ]

# 将随机队列与routing_key关键字以及exchange进行绑定

for severity in severities:

channel.queue_bind(exchange=’direct_test’,

queue=queue_name,

routing_key=severity)

print(‘ [*] Waiting for logs. To exit press CTRL+C’)

def callback(ch, method, properties, body):

print(” [x] %r:%r” % (method.routing_key, body))

# 接收消息

channel.basic_consume(callback,

queue=queue_name,

no_ack=True)

channel.start_consuming()

生产者

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# auth : pangguoping

# 发布者

import pika

credentials = pika.PlainCredentials(‘admin’, ‘admin’)

#链接rabbit服务器(localhost是本机,如果是其他服务器请修改为ip地址)

connection = pika.BlockingConnection(pika.ConnectionParameters(‘192.168.1.103′,5672,’/’,credentials))

channel = connection.channel()

# 定义交换机名称及类型

channel.exchange_declare(exchange=’direct_test’,

type=’direct’)

severity = ‘info’

message = ‘123’

# 发布消息至交换机direct_test,且发布的消息携带的关键字routing_key是info

channel.basic_publish(exchange=’direct_test’,

routing_key=severity,

body=message)

print(” [x] Sent %r:%r” % (severity, message))

connection.close()

当接收端正在运行时,可以使用rabbitmqctl list_bindings来查看绑定情况。

模式3 Topic

955949-20160728160820638-1183065409.png

路由键模糊匹配,其实是路由键(routing_key)的扩展,就是可以使用正则表达式,和常用的正则表示式不同,这里的话“#”表示所有、全部的意思;“*”只匹配到一个词。

任何发送到Topic Exchange的消息都会被转发到所有关心routing_key中指定话题的Queue上

1.这种模式较为复杂,简单来说,就是每个队列都有其关心的主题,所有的消息都带有一个“标题”(routing_key),Exchange会将消息转发到所有关注主题能与  routing_key模糊匹配的队列。

2.这种模式需要routing_key,也许要提前绑定Exchange与Queue。

3.在进行绑定时,要提供一个该队列关心的主题,如“#.log.#”表示该队列关心所有涉及log的消息(一个routing_key为”MQ.log.error”的消息会被转发到该队列)。

4.“#”表示0个或若干个关键字,“*”表示一个关键字。如“log.*”能与“log.warn”匹配,无法与“log.warn.timeout”匹配;但是“log.#”能与上述两者匹配。

5.同样,如果Exchange没有发现能够与routing_key匹配的Queue,则会抛弃此消息。

具体代码这里不在多余写,参照第二种模式的就可以,唯一变动的地方就是exchange type的声明,以及进行绑定和发送的时候routing_key使用正则模式即可。

消费者代码

#!/usr/bin/env python3

#coding:utf8

import pika

import sys

connection = pika.BlockingConnection(pika.ConnectionParameters(host=’localhost’))

channel = connection.channel()

channel.exchange_declare(exchange=’topic_logs’,type=’topic’)

result = channel.queue_declare(exclusive=True)

queue_name = result.method.queue

binding_keys = sys.argv[1:]

if not binding_keys:

sys.stderr.write(“Usage: %s [binding_key]…\n” % sys.argv[0])

sys.exit(1)

for binding_key in binding_keys:

channel.queue_bind(exchange=’topic_logs’,

queue=queue_name,

routing_key=binding_key)

print(‘ [*] Waiting for logs. To exit press CTRL+C’)

def callback(ch, method, properties, body):

print(” [x] %r:%r” % (method.routing_key, body))

channel.basic_consume(callback,

queue=queue_name,

no_ack=True)

channel.start_consuming()

生产者代码