赞
踩
RabbitMQ是流行的开源消息队列系统,用erlang语言开发。我曾经对这门语言挺有兴趣,学过一段时间,后来没坚持。RabbitMQ是AMQP(高级消息队列协议)的标准实现。如果不熟悉AMQP,直接看RabbitMQ的文档会比较困难。不过它也只有几个关键概念,这里简单介绍。
几个概念说明:
Broker:简单来说就是消息队列服务器实体。
Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。
Queue:消息队列载体,每个消息都会被投入到一个或多个队列。
Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来。
Routing Key:路由关键字,exchange根据这个关键字进行消息投递。
vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。
producer:消息生产者,就是投递消息的程序。
consumer:消息消费者,就是接受消息的程序。
channel:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。
消息队列的使用过程大概如下:
(1)客户端连接到消息队列服务器,打开一个channel。
(2)客户端声明一个exchange,并设置相关属性。
(3)客户端声明一个queue,并设置相关属性。
(4)客户端使用routing key,在exchange和queue之间建立好绑定关系。
(5)客户端投递消息到exchange。
exchange接收到消息后,就根据消息的key和已经设置的binding,进行消息路由,将消息投递到一个或多个队列里。
exchange也有几个类型,完全根据key进行投递的叫做Direct交换机,例如,绑定时设置了routing key为”abc”,那么客户端提交的消息,只有设置了key为”abc”的才会投递到队列。对key进行模式匹配后进行投递的叫做Topic交换机,符号”#”匹配一个或多个词,符号”*”匹配正好一个词。例如”abc.#”匹配”abc.def.ghi”,”abc.*”只匹配”abc.def”。还有一种不需要key的,叫做Fanout交换机,它采取广播模式,一个消息进来时,投递到与该交换机绑定的所有队列。
RabbitMQ支持消息的持久化,也就是数据写在磁盘上,为了数据安全考虑,我想大多数用户都会选择持久化。消息队列持久化包括3个部分:
(1)exchange持久化,在声明时指定durable => 1
(2)queue持久化,在声明时指定durable => 1
(3)消息持久化,在投递时指定delivery_mode => 2(1是非持久化)
如果exchange和queue都是持久化的,那么它们之间的binding也是持久化的。如果exchange和queue两者之间有一个持久化,一个非持久化,就不允许建立绑定。
(二)RabbitMQ-C客户端使用说明
rabbitmq-c是一个用于C语言的,与AMQP server进行交互的client库,AMQP协议为版本0-9-1。rabbitmq-c与server进行交互前需要首先进行login操作,在操作后,可以根据AMQP协议规范,执行一系列操作。
这里,根据项目需求,只进行部分接口说明,文后附demo的github地址。
接口描述:
amqp_connection_state_t amqp_new_connection(void);
接口说明:声明一个新的amqp connection
int amqp_open_socket(char const *hostname, int portnumber);
接口说明:获取socket.
参数说明:hostname RabbitMQ server所在主机
portnumber RabbitMQ server监听端口
void amqp_set_sockfd(amqp_connection_state_t state,int sockfd);
接口说明:将amqp connection和sockfd进行绑定
amqp_rpc_reply_t amqp_login(amqp_connection_state_t state, char const *vhost,int channel_max,int frame_max,int heartbeat,amqp_sasl_method_enum sasl_method, ...);
接口说明:用于登录RabbitMQ server,主要目的为了进行权限管理;
参数说明:state amqp connection
vhost rabbit-mq的虚机主机,是rabbit-mq进行权限管理的最小单位
channel_max 最大链接数,此处设成0即可
frame_max 和客户端通信时所允许的最大的frame size.默认值为131072,增大这个值有助于提高吞吐,降低这个值有利于降低时延
heartbeat 含义未知,默认值填0
sasl_method 用于SSL鉴权,默认值参考后文demo
amqp_channel_open_ok_t *amqp_channel_open(amqp_connection_state_t state, amqp_channel_t channel);
接口说明:用于关联conn和channel
amqp_exchange_declare_ok_t *amqp_exchange_declare(amqp_connection_state_t state, amqp_channel_t channel, amqp_bytes_t exchange, amqp_bytes_t type, amqp_boolean_t passive, amqp_boolean_t durable, amqp_table_t arguments);
接口说明:声明declare
参数说明:state
channel
exchange
type "fanout" "direct" "topic"三选一
passive
curable
arguments
amqp_queue_declare_ok_t *amqp_queue_declare(amqp_connection_state_t state, amqp_channel_t channel, amqp_bytes_t queue, amqp_boolean_t passive, amqp_boolean_t durable, amqp_boolean_t exclusive, amqp_boolean_t auto_delete, amqp_table_t arguments);
接口说明:声明queue
参数说明:state amqp connection
channel
queue queue name
passive
durable 队列是否持久化
exclusive 当前连接不在时,队列是否自动删除
aoto_delete 没有consumer时,队列是否自动删除
arguments 用于拓展参数,比如x-ha-policy用于mirrored queue
amqp_queue_bind_ok_t *amqp_queue_bind(amqp_connection_state_t state, amqp_channel_t channel, amqp_bytes_t queue, amqp_bytes_t exchange, amqp_bytes_t routing_key, amqp_tab le_t arguments);
接口说明:声明binding
amqp_basic_qos_ok_t *amqp_basic_qos(amqp_connection_state_t state, amqp_channel_t channel, uint32_t prefetch_size, uint16_t prefetch_count, amqp_boolean_t global);
接口说明:qos是 quality of service,我们这里使用主要用于控制预取消息数,避免消息按条数均匀分配,需要和no_ack配合使用
参数说明:state
channel
prefetch_size 以bytes为单位,0为unlimited
prefetch_count 预取的消息条数
global
amqp_basic_consume_ok_t *amqp_basic_consume(amqp_connection_state_t state, amqp_channel_t channel, amqp_bytes_t queue, amqp_bytes_t consumer_tag, amqp_boolean_t no_local, amqp_boolean_t no_ack, amqp_boolean_t exclusive, amqp_table_t arguments);
接口说明:开始一个queue consumer
参数说明:state
channel
queue
consumer_tag
no_local
no_ack 是否需要确认消息后再从队列中删除消息
exclusive
arguments
int amqp_basic_ack(amqp_connection_state_t state,amqp_channel_t channel,uint64_t delivery_tag,amqp_boolean_t multiple);
int amqp_basic_publish(amqp_connection_state_t state,amqp_channel_t channel,amqp_bytes_t exchange,amqp_bytes_t routing_key,amqp_boolean_t mandatory,amqp_boolean_t immediate,struct amqp_basic_properties_t_ const *properties,amqp_bytes_t body);
接口说明:发布消息
参数说明:state
channel
exchange
routing_key 当exchange为默认“”时,此处填写queue_name,当exchange为direct,此处为binding_key
mandatory 参见参考文献2
immediate 同上
properties 更多属性,如何设置消息持久化,参见文后demo
body 消息体
amqp_rpc_reply_t amqp_channel_close(amqp_connection_state_t state,amqp_channel_t channel,int code);
amqp_rpc_reply_t amqp_connection_close(amqp_connection_state_t state,int code);
int amqp_destroy_connection(amqp_connection_state_t state);
如何consume消息,参见文后demo。
demo
https://github.com/liuhaobupt/rabbitmq_work_queues_demo-with-rabbit-c-client-lib
其中 rmq_new_task.c和rmq_worker.c对应于RabbitMQ tutorial里的work queues章节(http://www.rabbitmq.com/tutorials/tutorial-two-python.html),emit_log_direct.c和receive_logs_direct.c对应于RabbitMQ tutorial里的routing章节(http://www.rabbitmq.com/tutorials/tutorial-four-python.html),这两个demo覆盖了RabbitMQ的常用应用场景。
编译需要librabbitmq.a库,同时需要rabbitmq-c提供的几个头文件(amqp.h和amqp_framing.h)以及utils.c文件,这些在github project页面均可获得。
参考文献
1. rabbitmq-c主页 http://hg.rabbitmq.com/rabbitmq-c/summary
2. http://www.rabbitmq.com/amqp-0-9-1-reference.html
(三)简单代码解释(头文件略去)
// 下面提供了一个简单消费者代码demo,包括了RabbitMQ的绝大多数流程
// 实现了从默认交换机,队列名为“QueueName1”中消息的获取
int main(int argc, const char **argv) {
const char *hostname = "localhost"; // 主机名
int port = 5672; // 端口
const char *exchange = ""; //交换机为默认时设为空字符串
const char *queuename = "QueueName1"; // 队列名
amqp_socket_t *socket = NULL;
int sockfd;
int channelid = 1; // 默认打开的频道
amqp_connection_state_t conn;
conn = amqp_new_connection(); // 新建一个连接
socket = amqp_tcp_socket_new(conn); // 新建一个套接字
die_on_error(sockfd = amqp_socket_open(socket,hostname, port), "Opening socket"); //打开套接字
die_on_amqp_error(amqp_login(conn, "/", 0, 131072, 0, AMQP_SASL_METHOD_PLAIN, "guest", "guest"),"Logging in"); // 登录服务器
amqp_channel_open(conn, channelid); // 打开一个频道
die_on_amqp_error(amqp_get_rpc_reply(conn), "Opening channel"); // ampq_get_rpc_reply 是一个清除某些全局变量的函数
amqp_queue_declare(conn,channelid,amqp_cstring_bytes(queuename),0,1,0,0,amqp_empty_table); // 声明一个队列,注意对照API看参数信息
amqp_basic_qos(conn,channelid,0,1,0); //基本服务处理,可实现预先处理多少个信息
amqp_basic_consume(conn,channelid,amqp_cstring_bytes(queuename),amqp_empty_bytes,0,1,0,amqp_empty_table); // 开始一个队列消费
die_on_amqp_error(amqp_get_rpc_reply(conn), "Consuming");
{
while (1) {
amqp_rpc_reply_t res;
amqp_envelope_t envelope;
amqp_maybe_release_buffers(conn); //清除缓存
res = amqp_consume_message(conn, &envelope, NULL, 0); //将获得的消息交给envelope
if (AMQP_RESPONSE_NORMAL != res.reply_type) {
break;
}
printf("Delivery %u, exchange %.*s routingkey %.*s\n",
(unsigned) envelope.delivery_tag,
(int) envelope.exchange.len, (char *) envelope.exchange.bytes,
(int) envelope.routing_key.len, (char *) envelope.routing_key.bytes);
printf("Content %.*s",(int)envelope.message.body.len,(char *)envelope.message.body.bytes);
amqp_destroy_envelope(&envelope);
}
}
die_on_amqp_error(amqp_channel_close(conn, 1, AMQP_REPLY_SUCCESS), "Closing channel"); // 关闭频道
die_on_amqp_error(amqp_connection_close(conn, AMQP_REPLY_SUCCESS), "Closing connection"); // 关闭连接
die_on_error(amqp_destroy_connection(conn), "Ending connection"); // 销毁连接
return 0;
}
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。