【转载】消息队列RabbitMQ入门介绍

（一）基本概念

RabbitMQ 是流行的开源消息队列系统，用 erlang 语言开发。我曾经对这门语言挺有兴趣，学过一段时间，后来没坚持。RabbitMQ 是 AMQP（高级消息队列协议）的标准实现。如果不熟悉 AMQP，直接看 RabbitMQ 的文档会比较困难。不过它也只有几个关键概念，这里简单介绍。

RabbitMQ 的结构图如下：

几个概念说明：

Broker：简单来说就是消息队列服务器实体。
Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。
Queue：消息队列载体，每个消息都会被投入到一个或多个队列。
Binding：绑定，它的作用就是把 exchange 和 queue 按照路由规则绑定起来。
Routing Key：路由关键字，exchange 根据这个关键字进行消息投递。
vhost：虚拟主机，一个 broker 里可以开设多个 vhost，用作不同用户的权限分离。
producer：消息生产者，就是投递消息的程序。
consumer：消息消费者，就是接受消息的程序。
channel：消息通道，在客户端的每个连接里，可建立多个 channel，每个 channel 代表一个会话任务。

消息队列的使用过程大概如下：

（1）客户端连接到消息队列服务器，打开一个 channel 。
（2）客户端声明一个 exchange，并设置相关属性。
（3）客户端声明一个 queue，并设置相关属性。
（4）客户端使用 routing key（本质上是 binding key，后文已做相应纠正），在 exchange 和 queue 之间建立好绑定关系。
（5）客户端投递消息到 exchange 。

exchange 接收到消息后，就根据消息的 routing key 和已经设置的 binding 关系，进行消息路由，将消息投递到一个或多个队列里。

exchange 也有几个类型：

完全根据 routing key 进行投递的叫做 direct 交换机。例如，绑定时设置了 binding key 为 "abc"，那么客户端提交的消息，只有设置了routing key 为 "abc" 的才会被投递到该队列。 对 routing key 进行模式匹配后进行投递的叫做 topic 交换机。符号 "#" 匹配一个或多个词，符号 "*" 匹配正好一个词。例如 "abc.#" 可以匹配 "abc.def.ghi" ，"abc.*" 只能匹配 "abc.def" 。 还有一种不需要 routing key 的，叫做 fanout 交换机。它采取广播模式，一个消息进来时，投递到与该交换机绑定的所有队列。

 

RabbitMQ 支持消息的持久化，也就是数据写在磁盘上，为了数据安全考虑，我想大多数用户都会选择持久化。消息队列持久化包括 3 个部分：
（1）exchange 持久化，在声明时指定 durable => 1
（2）queue 持久化，在声明时指定 durable => 1
（3）消息持久化，在投递时指定 delivery_mode => 2（1 是非持久化）

如果 exchange 和 queue 都是持久化的，那么它们之间的 binding 也是持久化的。

（二）应用实际

使用 Linux 服务器（ubuntu 9.10 64位），安装 RabbitMQ 非常方便。

先运行如下命令安装 erlang:

# apt-get install erlang-nox

 

再到rabbitmq.com上下载RabbitMQ的安装包，如下安装：

# dpkg -i rabbitmq-server_2.6.1-1_all.deb

安装完后，使用

# /etc/init.d/rabbitmq-server start|stop|restart

 

来启动、停止、重启 rabbitmq。

在正式应用之前，我们先在 RabbitMQ 里创建一个 vhost ，加一个用户，并设置该用户的权限。

使用 rabbitmqctl 客户端工具，在根目录下创建 "/pyhtest" 这个 vhost ：

# rabbitmqctl add_vhost /pyhtest

创建一个用户名 "pyh" ，设置密码 "pyh1234" ：

# rabbitmqctl add_user pyh pyh1234

 

设置pyh用户对/pyhtest这个vhost拥有全部权限：

# rabbitmqctl set_permissions -p /pyhtest pyh “.*” “.*” “.*”

 

后面三个”*”代表pyh用户拥有对/pyhtest的配置、写、读全部权限

设置好后，开始编程，我用 Perl 写一个消息投递程序（producer）：

#!/usr/bin/perl use strict; use Net::RabbitMQ; use UUID::Tiny; my $channel = 1000; # channel ID，可以随意指定，只要不冲突 my $queuename = “pyh_queue”; # 队列名 my $exchange = “pyh_exchange”; # 交换机名 my $routing_key = “test”; # routing key my $mq = Net::RabbitMQ->new(); # 创建一个RabbitMQ对象 $mq->connect(“localhost”, { vhost => “/pyhtest”, user => “pyh”, password => “pyh1234″ }); # 建立连接 $mq->channel_open($channel); # 打开一个channel $mq->exchange_declare($channel, $exchange, {durable => 1}); # 声明一个持久化的交换机 $mq->queue_declare($channel, $queuename, {durable => 1}); # 声明一个持久化的队列 $mq->queue_bind($channel, $queuename, $exchange, $routing_key); # 使用routing key在交换机和队列间建立绑定 for (my $i=0;$i<10000000;$i++) { # 循环1000万次 my $string = create_UUID_as_string(UUID_V1); # 产生一条UUID作为消息主体 $mq->publish($channel, $routing_key, $string, { exchange => $exchange }, { delivery_mode => 2 }); # 将消息结合key以持久化模式投递到交换机 } $mq->disconnect(); # 断开连接

 

消息接受程序（consumer）大概如下：

#!/usr/bin/perl use strict; use Net::RabbitMQ; my $channel = 1001; my $queuename = “pyh_queue”; my $mq = Net::RabbitMQ->new(); $mq->connect(“localhost”, { vhost=>”/pyhtest”, user => “pyh”, password => “pyh1234″ }); $mq->channel_open($channel); while (1) { my $hashref = $mq->get($channel, $queuename); last unless defined $hashref; print $hashref->{message_count}, “: “, $hashref->{body},”n”; } $mq->disconnect();

 

consumer 连接后只要指定队列就可获取到消息。

上述程序共投递 1000 万条消息，每条消息 36 字节（UUID），打开持久化，共耗时 17 分多钟（包括产生 UUID 的时间），每秒投递消息约 9500 条。测试机器是 8G 内存、8 核志强 CPU 。

投递完后，在 /var/lib/rabbitmq/mnesia/rabbit@${hostname}/msg_store_persistent 目录，产生 2G 多的持久化消息数据。在运行 consumer 程序后，这些数据都会消失，因为消息已经被消费了。