当前位置:   article > 正文

轻松搞定RabbitMQ5:主题机制与RPC调用_eqmx5启动eqmx-rabbitmq-hook

eqmx5启动eqmx-rabbitmq-hook

轻松搞定RabbitMQ(六)——主题

翻译地址:http://www.rabbitmq.com/tutorials/tutorial-five-java.html

在上一篇博文中,我们进一步改良了日志系统。使用Direct类型的转换器,使得接收者有能力进行选择性的接收日志,,而非fanout那样,只能够无脑的转发,如果你还不了解,请阅读:轻松搞定RabbitMQ(四)——发布/订阅

虽然使用Direct类型的转换器改进了日志系统。但它仍然有一定的局限性——不能根据多重条件进行路由选择。

在我们的日志系统中,我们可能不仅仅根据日志严重性订阅日志,也想根据发送源订阅。你可能从unix工具syslog了解过这个概念,它可以根据严重性(info/warning/crit…)和设备(auth/cron/kern…)转发日志。

这将给我们更多的灵活性——我们可以订阅来自元‘cron’的致命错误日志,同时也可以订阅‘kern’的所有日志。

为了在我们的日志系统中实现上述需求,我们需要了解更复杂的主题类型的转发器——Topic Exchange。

Topic exchange(主题转发器)

发送给主题转发器的消息不能是任意设置的选择键,必须是用小数点隔开的一系列的标识符。这些标识符可以是随意,但是通常跟消息的某些特性相关联。一些合法的路由选择键比如“socket.usd.nyse”,"nyse.vmw","quick.orange.rabbit",你愿意用多少单词都可以,只要不超过上限的255个字节。

绑定键也必须以相同的格式。主题转发器的逻辑类似于direct类型的转发器。消息通过一个特定的路由键发送到所有与绑定键匹配的队列中。需要注意的是,关于绑定键有两种特殊的情况:*(星号)可以代替任意一个标识符 ;#(井号)可以代替零个或多个标识符。

举一个简单例子,如下图:

在上图例子中,我们发送描述动物的消息。消息会转发给包含3个单词(2个小数点)的路由键绑定的队列中。绑定键中的第一个单词描述的是速度,第二个是颜色,第三个是物种:“速度.颜色.物种”。

我们创建3个绑定:Q1绑定键是“.orange.”,Q2绑定键是“..rabbit”,Q3绑定键是“lazy.#”。这些绑定可以概括为:Q1只对橙色的动物感兴趣。Q2则是关注兔子和所有懒的动物。

路由键为“quick.orange.rabbit”的消息会被路由到2个队列中去。而“lazy.orange.elephant”的消息同样会发往2个队列。另外“quick.orange.fox” 仅仅发往第一个队列,而"lazy.brown.fox"则只发往第二个队列。“quick.brown.fox”则所有的绑定键都不匹配而被丢弃。

如果我们违反约定,发送了只带1个或者4个标识符的选择键,像“orange”或者“quick.orange.male.rabbit”,会发生什么呢?这些消息都不匹配任何绑定,所以将被丢弃。

另外,“lazy.orange.male.rabbit”,尽管有4个标识符,但是仍然匹配最后一个绑定键,所以会发送到第二个队列中。

注:主题类型的转发器非常强大,可以实现其他类型的转发器。当队列绑定#绑定键,可以接受任何消息,类似于fanout转发器。当特殊字符*和#不包含在绑定键中,这个主题转发器就像一个direct类型的转发器。

完整实例

我们将主题类型的转发器应用到日志系统中,路由格式为:“<设备>.<严重级别>”。

发送端(EmitLogTopic.java)

  1. public class EmitLogDirect {
  2. private final static String EXCHANGE_NAME = "topic_logs";
  3. public static void main(String[] args) throws IOException {
  4. /**
  5. * 创建连接连接到MabbitMQ
  6. */
  7. ConnectionFactory factory = new ConnectionFactory();
  8. // 设置MabbitMQ所在主机ip或者主机名
  9. factory.setHost("127.0.0.1");
  10. // 创建一个连接
  11. Connection connection = factory.newConnection();
  12. // 创建一个频道
  13. Channel channel = connection.createChannel();
  14. // 指定转发——广播
  15. channel.exchangeDeclare(EXCHANGE_NAME, "topic");
  16. //所有设备和日志级别
  17. String[] facilities ={"auth","cron","kern","auth.A"};
  18. String[] severities={"error","info","warning"};
  19. for(int i=0;i<4;i++){
  20. for(int j=0;j<3;j++){
  21. //每一个设备,每种日志级别发送一条日志消息
  22. String routingKey = facilities[i]+"."+severities[j%3];
  23. // 发送的消息
  24. String message =" Hello World!"+Strings.repeat(".", i+1);
  25. //参数1:exchange name
  26. //参数2:routing key
  27. channel.basicPublish(EXCHANGE_NAME, routingKey, null, message.getBytes());
  28. System.out.println(" [x] Sent [" + routingKey +"] : '"+ message + "'");
  29. }
  30. }
  31. // 关闭频道和连接
  32. channel.close();
  33. connection.close();
  34. }
  35. }

消费者1(ReceiveLogs2Console.java)

  1. public class ReceiveLogs2Console {
  2. private static final String EXCHANGE_NAME = "topic_logs";
  3. public static void main(String[] argv) throws IOException, InterruptedException {
  4. ConnectionFactory factory = new ConnectionFactory();
  5. factory.setHost("127.0.0.1");
  6. // 打开连接和创建频道,与发送端一样
  7. Connection connection = factory.newConnection();
  8. final Channel channel = connection.createChannel();
  9. //声明exchange
  10. channel.exchangeDeclare(EXCHANGE_NAME, "topic");
  11. // 声明一个随机队列
  12. String queueName = channel.queueDeclare().getQueue();
  13. String[] routingKeys ={"auth.*","*.info","#.warning"};//关注所有的授权日志、所有info和waring级别的日志
  14. for (String routingKey : routingKeys) {
  15. //关注所有级别的日志(多重绑定)
  16. channel.queueBind(queueName, EXCHANGE_NAME, routingKey);
  17. }
  18. System.out.println(" [*] Waiting for messages. To exit press CTRL+C");
  19. // 创建队列消费者
  20. final Consumer consumer = new DefaultConsumer(channel) {
  21. @Override
  22. public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
  23. String message = new String(body, "UTF-8");
  24. System.out.println(" [x] Received [" + envelope.getRoutingKey() + "] :'" + message + "'");
  25. }
  26. };
  27. channel.basicConsume(queueName, true, consumer);
  28. }
  29. }

消费者2(ReceiveLogs2File.java)

  1. public class ReceiveLogs2File {
  2. private static final String EXCHANGE_NAME = "topic_logs";
  3. public static void main(String[] argv) throws IOException, InterruptedException {
  4. ConnectionFactory factory = new ConnectionFactory();
  5. factory.setHost("127.0.0.1");
  6. // 打开连接和创建频道,与发送端一样
  7. Connection connection = factory.newConnection();
  8. final Channel channel = connection.createChannel();
  9. channel.exchangeDeclare(EXCHANGE_NAME, "topic");
  10. // 声明一个随机队列
  11. String queueName = channel.queueDeclare().getQueue();
  12. channel.queueBind(queueName, EXCHANGE_NAME, "");
  13. String severity="kern.error";//只关注核心错误级别的日志,然后记录到文件中去。
  14. channel.queueBind(queueName, EXCHANGE_NAME, severity);
  15. System.out.println(" [*] Waiting for messages. To exit press CTRL+C");
  16. // 创建队列消费者
  17. final Consumer consumer = new DefaultConsumer(channel) {
  18. @Override
  19. public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
  20. String message = new String(body, "UTF-8");
  21. //记录日志到文件:
  22. print2File( "["+ envelope.getRoutingKey() + "] "+message);
  23. }
  24. };
  25. channel.basicConsume(queueName, true, consumer);
  26. }
  27. private static void print2File(String msg) {
  28. try {
  29. String dir = ReceiveLogs2File.class.getClassLoader().getResource("").getPath();
  30. String logFileName = new SimpleDateFormat("yyyy-MM-dd").format(new Date());
  31. File file = new File(dir, logFileName + ".log");
  32. FileOutputStream fos = new FileOutputStream(file, true);
  33. fos.write((new SimpleDateFormat("HH:mm:ss").format(new Date())+" - "+msg + "\r\n").getBytes());
  34. fos.flush();
  35. fos.close();
  36. } catch (FileNotFoundException e) {
  37. e.printStackTrace();
  38. } catch (IOException e) {
  39. e.printStackTrace();
  40. }
  41. }
  42. }

最终结果:

 

 

轻松搞定RabbitMQ(七)——远程过程调用RPC

翻译:http://www.rabbitmq.com/tutorials/tutorial-six-java.html
     在第二篇博文中,我们已经了解到了如何使用工作队列来向多个消费者分散耗时任务。
     但是付过我们需要在远程电脑上运行一个方法然后等待结果,该怎么办?这是不同的需求。这个模式通常叫做RPC。

本文我们将使用RabbitMQ构建一个RPC系统:一个客户端和一个可扩展的RPC服务器端。由于我们没有任何真实的耗时任务需要分配,所以我们将创建一个虚拟的RPC服务,可以返回斐波纳契数列。

Client interface(客户端接口)

为了说明RPC服务可以使用,我们创建一个简单的客户端类。暴露一个方法——发送RPC请求,然后阻塞直到获得结果。

  1. FibonacciRpcClient fibonacciRpc = new FibonacciRpcClient();
  2. String result = fibonacciRpc.call("4");
  3. System.out.println( "fib(4) is " + result);

Callback queue(回调队列)

一般在RabbitMQ中做RPC是很简单的。客户端发送请求消息,服务器回复响应的消息。为了接受响应的消息,我们需要在请求消息中发送一个回调队列。可以用默认的队列(仅限java客户端)。试一试吧:

  1. BasicProperties props = new BasicProperties
  2. .Builder()
  3. .replyTo(callbackQueueName)
  4. .build();
  5. channel.basicPublish("", "rpc_queue", props, message.getBytes());
  6. // ... then code to read a response message from the callback_queue ...

Message properties(消息属性)

AMQP协议为消息预定义了一组14个属性。大部分的属性是很少使用的。除了一下几种:

  • deliveryMode:标记消息传递模式,2-消息持久化,其他值-瞬态。在第二篇文章中还提到过。
  • contentType:内容类型,用于描述编码的mime-type。例如经常为该属性设置JSON编码。
  • replyTo:应答,通用的回调队列名称
  • correlationId:关联ID,方便RPC响应与请求关联

我们需要添加一个新的导入

import com.rabbitmq.client.AMQP.BasicProperties;

Correlation Id

在上述方法中为每个RPC请求创建一个回调队列。这是很低效的。幸运的是,一个解决方案:可以为每个客户端创建一个单一的回调队列。
     新的问题被提出,队列收到一条回复消息,但是不清楚是那条请求的回复。这是就需要使用correlationId属性了。我们要为每个请求设置唯一的值。然后,在回调队列中获取消息,看看这个属性,关联response和request就是基于这个属性值的。如果我们看到一个未知的correlationId属性值的消息,可以放心的无视它——它不是我们发送的请求。
     你可能问道,为什么要忽略回调队列中未知的信息,而不是当作一个失败?这是由于在服务器端竞争条件的导致的。虽然不太可能,但是如果RPC服务器在发送给我们结果后,发送请求反馈前就挂掉了,这有可能会发送未知correlationId属性值的消息。如果发生了这种情况,重启RPC服务器将会重新处理该请求。这就是为什么在客户端必须很好的处理重复响应,RPC应该是幂等的。

Summary(总结)

我们的RPC的处理流程:

  1. 当客户端启动时,创建一个匿名的回调队列。
  2. 客户端为RPC请求设置2个属性:replyTo,设置回调队列名字;correlationId,标记request。
  3. 请求被发送到rpc_queue队列中。
  4. RPC服务器端监听rpc_queue队列中的请求,当请求到来时,服务器端会处理并且把带有结果的消息发送给客户端。接收的队列就是replyTo设定的回调队列。
  5. 客户端监听回调队列,当有消息时,检查correlationId属性,如果与request中匹配,那就是结果了。

完整的实例

RPC服务器端(RPCServer.java)

  1. /**
  2. * RPC服务器端
  3. *
  4. * @author arron
  5. * @date 2015年9月30日 下午3:49:01
  6. * @version 1.0
  7. */
  8. public class RPCServer {
  9. private static final String RPC_QUEUE_NAME = "rpc_queue";
  10. public static void main(String[] args) throws Exception {
  11. ConnectionFactory factory = new ConnectionFactory();
  12. // 设置MabbitMQ所在主机ip或者主机名
  13. factory.setHost("127.0.0.1");
  14. // 创建一个连接
  15. Connection connection = factory.newConnection();
  16. // 创建一个频道
  17. Channel channel = connection.createChannel();
  18. //声明队列
  19. channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);
  20. //限制:每次最多给一个消费者发送1条消息
  21. channel.basicQos(1);
  22. //为rpc_queue队列创建消费者,用于处理请求
  23. QueueingConsumer consumer = new QueueingConsumer(channel);
  24. channel.basicConsume(RPC_QUEUE_NAME, false, consumer);
  25. System.out.println(" [x] Awaiting RPC requests");
  26. while (true) {
  27. QueueingConsumer.Delivery delivery = consumer.nextDelivery();
  28. //获取请求中的correlationId属性值,并将其设置到结果消息的correlationId属性中
  29. BasicProperties props = delivery.getProperties();
  30. BasicProperties replyProps = new BasicProperties.Builder().correlationId(props.getCorrelationId()).build();
  31. //获取回调队列名字
  32. String callQueueName = props.getReplyTo();
  33. String message = new String(delivery.getBody(),"UTF-8");
  34. System.out.println(" [.] fib(" + message + ")");
  35. //获取结果
  36. String response = "" + fib(Integer.parseInt(message));
  37. //先发送回调结果
  38. channel.basicPublish("", callQueueName, replyProps,response.getBytes());
  39. //后手动发送消息反馈
  40. channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
  41. }
  42. }
  43. /**
  44. * 计算斐波列其数列的第n项
  45. *
  46. * @param n
  47. * @return
  48. * @throws Exception
  49. */
  50. private static int fib(int n) throws Exception {
  51. if (n < 0)
  52. throw new Exception("参数错误,n必须大于等于0");
  53. if (n == 0)
  54. return 0;
  55. if (n == 1)
  56. return 1;
  57. return fib(n - 1) + fib(n - 2);
  58. }
  59. }

RPC客户端(RPCClient.java):

  1. /**
  2. *
  3. * @author arron
  4. * @date 2015年9月30日 下午3:44:43
  5. * @version 1.0
  6. */
  7. public class RPCClient {
  8. private static final String RPC_QUEUE_NAME = "rpc_queue";
  9. private Connection connection;
  10. private Channel channel;
  11. private String replyQueueName;
  12. private QueueingConsumer consumer;
  13. public RPCClient() throws Exception {
  14. ConnectionFactory factory = new ConnectionFactory();
  15. // 设置MabbitMQ所在主机ip或者主机名
  16. factory.setHost("127.0.0.1");
  17. // 创建一个连接
  18. connection = factory.newConnection();
  19. // 创建一个频道
  20. channel = connection.createChannel();
  21. //声明队列
  22. channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);
  23. //为每一个客户端获取一个随机的回调队列
  24. replyQueueName = channel.queueDeclare().getQueue();
  25. //为每一个客户端创建一个消费者(用于监听回调队列,获取结果)
  26. consumer = new QueueingConsumer(channel);
  27. //消费者与队列关联
  28. channel.basicConsume(replyQueueName, true, consumer);
  29. }
  30. /**
  31. * 获取斐波列其数列的值
  32. *
  33. * @param message
  34. * @return
  35. * @throws Exception
  36. */
  37. public String call(String message) throws Exception{
  38. String response = null;
  39. String corrId = java.util.UUID.randomUUID().toString();
  40. //设置replyTo和correlationId属性值
  41. BasicProperties props = new BasicProperties.Builder().correlationId(corrId).replyTo(replyQueueName).build();
  42. //发送消息到rpc_queue队列
  43. channel.basicPublish("", RPC_QUEUE_NAME, props, message.getBytes());
  44. while (true) {
  45. QueueingConsumer.Delivery delivery = consumer.nextDelivery();
  46. if (delivery.getProperties().getCorrelationId().equals(corrId)) {
  47. response = new String(delivery.getBody(),"UTF-8");
  48. break;
  49. }
  50. }
  51. return response;
  52. }
  53. public static void main(String[] args) throws Exception {
  54. RPCClient fibonacciRpc = new RPCClient();
  55. String result = fibonacciRpc.call("4");
  56. System.out.println( "fib(4) is " + result);
  57. }
  58. }

输出结果:

fib(4) is 3

微信公众号

个人公众号:程序员黄小斜

微信公众号【程序员黄小斜】新生代青年聚集地,程序员成长充电站。作者黄小斜,职业是阿里程序员,身份是斜杠青年,希望和更多的程序员交朋友,一起进步和成长!专注于分享技术、面试、职场等成长干货,这一次,我们一起出发。

关注公众号后回复“2020”领取我这两年整理的学习资料,涵盖自学编程、求职面试、算法刷题、Java技术学习、计算机基础和考研等8000G资料合集。

技术公众号:Java技术江湖

微信公众号【Java技术江湖】一位阿里 Java 工程师的技术小站,专注于 Java 相关技术:SSM、SpringBoot、MySQL、分布式、中间件、集群、Linux、网络、多线程,偶尔讲点Docker、ELK,同时也分享技术干货和学习经验,致力于Java全栈开发!

关注公众号后回复“PDF”即可领取200+页的《Java工程师面试指南》强烈推荐,几乎涵盖所有Java工程师必知必会的知识点。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/在线问答5/article/detail/865364
推荐阅读
相关标签
  

闽ICP备14008679号