devbox
羊村懒王
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

SpringBoot：详解RabbitMQ 延迟队列

作者：羊村懒王 | 2024-06-02 12:20:39

赞

踩

rabbitmq延迟队列 springboot

SpringBoot 是为了简化 Spring 应用的创建、运行、调试、部署等一系列问题而诞生的产物，自动装配的特性让我们可以更好的关注业务本身而不是外部的XML配置，我们只需遵循规范，引入相关的依赖就可以轻易的搭建出一个 WEB 工程

初探RabbitMQ消息队列中介绍了RabbitMQ的简单用法，顺带提及了下延迟队列的作用。所谓延时消息就是指当消息被发送以后，并不想让消费者立即拿到消息，而是等待指定时间后，消费者才拿到这个消息进行消费。

延迟队列

延迟队列能做什么？

  • 订单业务： 在电商/点餐中，都有下单后 30 分钟内没有付款，就自动取消订单。
  • 短信通知： 下单成功后 60s 之后给用户发送短信通知。
  • 失败重试： 业务操作失败后，间隔一定的时间进行失败重试。

这类业务的特点就是：非实时的，需要延迟处理，需要进行失败重试。一种比较笨的方式是采用定时任务，轮训数据库，方法简单好用，但性能底下，在高并发情况下容易弄死数据库，间隔时间不好设置，时间过大，影响精度，过小影响性能，而且做不到按超时的时间顺序处理。另一种就是用Java中的DelayQueue 位于java.util.concurrent包下，本质是由PriorityQueue和BlockingQueue实现的阻塞优先级队列。，这玩意最大的问题就是不支持分布式与持久化

RabbitMQ 实现思路

RabbitMQ队列本身是没有直接实现支持延迟队列的功能，但可以通过它的Time-To-Live Extensions 与 Dead Letter Exchange 的特性模拟出延迟队列的功能。

Time-To-Live Extensions

RabbitMQ支持为队列或者消息设置TTL（time to live 存活时间）。TTL表明了一条消息可在队列中存活的最大时间。当某条消息被设置了TTL或者当某条消息进入了设置了TTL的队列时，这条消息会在TTL时间后死亡成为Dead Letter。如果既配置了消息的TTL，又配置了队列的TTL，那么较小的那个值会被取用。

Dead Letter Exchange

死信交换机，上文中提到设置了 TTL 的消息或队列最终会成为Dead Letter。如果为队列设置了Dead Letter Exchange（DLX），那么这些Dead Letter就会被重新发送到Dead Letter Exchange中，然后通过Dead Letter Exchange路由到其他队列，即可实现延迟队列的功能。

导入依赖

在 pom.xml 中添加 spring-boot-starter-amqp的依赖

  1. <dependencies>
  2.     <dependency>
  3.         <groupId>org.springframework.boot</groupId>
  4.         <artifactId>spring-boot-starter-amqp</artifactId>
  5.     </dependency>
  6.     <dependency>
  7.         <groupId>com.alibaba</groupId>
  8.         <artifactId>fastjson</artifactId>
  9.         <version>1.2.46</version>
  10.     </dependency>
  11.     <dependency>
  12.         <groupId>org.springframework.boot</groupId>
  13.         <artifactId>spring-boot-starter-web</artifactId>
  14.     </dependency>
  15.     <dependency>
  16.         <groupId>org.springframework.boot</groupId>
  17.         <artifactId>spring-boot-starter-test</artifactId>
  18.         <scope>test</scope>
  19.     </dependency>
  20. </dependencies>

属性配置

在 application.properties 文件中配置rabbitmq相关内容，值得注意的是这里配置了手动ACK的开关

  1. spring.rabbitmq.username=battcn
  2. spring.rabbitmq.password=battcn
  3. spring.rabbitmq.host=192.168.0.133
  4. spring.rabbitmq.port=5672
  5. spring.rabbitmq.virtual-host=/
  6. # 手动ACK 不开启自动ACK模式,目的是防止报错后未正确处理消息丢失 默认 为 none
  7. spring.rabbitmq.listener.simple.acknowledge-mode=manual

具体编码

定义队列

如果手动创建过或者RabbitMQ中已经存在该队列那么也可以省略下述代码…

  1. package com.battcn.config;
  2.  
  3. import org.slf4j.Logger;
  4. import org.slf4j.LoggerFactory;
  5. import org.springframework.amqp.core.*;
  6. import org.springframework.amqp.rabbit.connection.CachingConnectionFactory;
  7. import org.springframework.amqp.rabbit.core.RabbitTemplate;
  8. import org.springframework.context.annotation.Bean;
  9. import org.springframework.context.annotation.Configuration;
  10.  
  11. import java.util.HashMap;
  12. import java.util.Map;
  13.  
  14. /**
  15.  * RabbitMQ配置
  16.  *
  17.  * @author Levin
  18.  * @since 2018/4/11 0011
  19.  */
  20. @Configuration
  21. public class RabbitConfig {
  22.  
  23.     private static final Logger log = LoggerFactory.getLogger(RabbitConfig.class);
  24.  
  25.     @Bean
  26.     public RabbitTemplate rabbitTemplate(CachingConnectionFactory connectionFactory) {
  27.         connectionFactory.setPublisherConfirms(true);
  28.         connectionFactory.setPublisherReturns(true);
  29.         RabbitTemplate rabbitTemplate = new RabbitTemplate(connectionFactory);
  30.         rabbitTemplate.setMandatory(true);
  31.         rabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> log.info("消息发送成功:correlationData({}),ack({}),cause({})", correlationData, ack, cause));
  32.         rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> log.info("消息丢失:exchange({}),route({}),replyCode({}),replyText({}),message:{}", exchange, routingKey, replyCode, replyText, message));
  33.         return rabbitTemplate;
  34.     }
  35.  
  36.     /**
  37.      * 延迟队列 TTL 名称
  38.      */
  39.     private static final String REGISTER_DELAY_QUEUE = "dev.book.register.delay.queue";
  40.     /**
  41.      * DLX，dead letter发送到的 exchange
  42.      * TODO 此处的 exchange 很重要,具体消息就是发送到该交换机的
  43.      */
  44.     public static final String REGISTER_DELAY_EXCHANGE = "dev.book.register.delay.exchange";
  45.     /**
  46.      * routing key 名称
  47.      * TODO 此处的 routingKey 很重要要,具体消息发送在该 routingKey 的
  48.      */
  49.     public static final String DELAY_ROUTING_KEY = "";
  50.  
  51.  
  52.     public static final String REGISTER_QUEUE_NAME = "dev.book.register.queue";
  53.     public static final String REGISTER_EXCHANGE_NAME = "dev.book.register.exchange";
  54.     public static final String ROUTING_KEY = "all";
  55.  
  56.     /**
  57.      * 延迟队列配置
  58.      * <p>
  59.      * 1、params.put("x-message-ttl", 5 * 1000);
  60.      * TODO 第一种方式是直接设置 Queue 延迟时间 但如果直接给队列设置过期时间,这种做法不是很灵活,（当然二者是兼容的,默认是时间小的优先）
  61.      * 2、rabbitTemplate.convertAndSend(book, message -> {
  62.      * message.getMessageProperties().setExpiration(2 * 1000 + "");
  63.      * return message;
  64.      * });
  65.      * TODO 第二种就是每次发送消息动态设置延迟时间,这样我们可以灵活控制
  66.      **/
  67.     @Bean
  68.     public Queue delayProcessQueue() {
  69.         Map<String, Object> params = new HashMap<>();
  70.         // x-dead-letter-exchange 声明了队列里的死信转发到的DLX名称，
  71.         params.put("x-dead-letter-exchange", REGISTER_EXCHANGE_NAME);
  72.         // x-dead-letter-routing-key 声明了这些死信在转发时携带的 routing-key 名称。
  73.         params.put("x-dead-letter-routing-key", ROUTING_KEY);
  74.         return new Queue(REGISTER_DELAY_QUEUE, true, false, false, params);
  75.     }
  76.  
  77.     /**
  78.      * 需要将一个队列绑定到交换机上，要求该消息与一个特定的路由键完全匹配。
  79.      * 这是一个完整的匹配。如果一个队列绑定到该交换机上要求路由键 “dog”，则只有被标记为“dog”的消息才被转发，不会转发dog.puppy，也不会转发dog.guard，只会转发dog。
  80.      * TODO 它不像 TopicExchange 那样可以使用通配符适配多个
  81.      *
  82.      * @return DirectExchange
  83.      */
  84.     @Bean
  85.     public DirectExchange delayExchange() {
  86.         return new DirectExchange(REGISTER_DELAY_EXCHANGE);
  87.     }
  88.  
  89.     @Bean
  90.     public Binding dlxBinding() {
  91.         return BindingBuilder.bind(delayProcessQueue()).to(delayExchange()).with(DELAY_ROUTING_KEY);
  92.     }
  93.  
  94.  
  95.     @Bean
  96.     public Queue registerBookQueue() {
  97.         return new Queue(REGISTER_QUEUE_NAME, true);
  98.     }
  99.  
  100.     /**
  101.      * 将路由键和某模式进行匹配。此时队列需要绑定要一个模式上。
  102.      * 符号“#”匹配一个或多个词，符号“*”匹配不多不少一个词。因此“audit.#”能够匹配到“audit.irs.corporate”，但是“audit.*” 只会匹配到“audit.irs”。
  103.      **/
  104.     @Bean
  105.     public TopicExchange registerBookTopicExchange() {
  106.         return new TopicExchange(REGISTER_EXCHANGE_NAME);
  107.     }
  108.  
  109.     @Bean
  110.     public Binding registerBookBinding() {
  111.         // TODO 如果要让延迟队列之间有关联,这里的 routingKey 和 绑定的交换机很关键
  112.         return BindingBuilder.bind(registerBookQueue()).to(registerBookTopicExchange()).with(ROUTING_KEY);
  113.     }
  114.  
  115. }

实体类

创建一个Book类

  1. public class Book implements java.io.Serializable {
  2.  
  3.     private static final long serialVersionUID = -2164058270260403154L;
  4.  
  5.     private String id;
  6.     private String name;
  7. 	// 省略get set ...
  8. }

控制器

编写一个Controller类，用于消息发送工作，同时为了看到测试效果，添加日志输出，将发送消息的时间记录下来..

  1. package com.battcn.controller;
  2.  
  3. import com.battcn.config.RabbitConfig;
  4. import com.battcn.entity.Book;
  5. import com.battcn.handler.BookHandler;
  6. import org.slf4j.Logger;
  7. import org.slf4j.LoggerFactory;
  8. import org.springframework.amqp.rabbit.core.RabbitTemplate;
  9. import org.springframework.amqp.support.converter.AbstractJavaTypeMapper;
  10. import org.springframework.beans.factory.annotation.Autowired;
  11. import org.springframework.web.bind.annotation.*;
  12.  
  13. import java.time.LocalDateTime;
  14.  
  15. /**
  16.  * @author Levin
  17.  * @since 2018/4/2 0002
  18.  */
  19. @RestController
  20. @RequestMapping(value = "/books")
  21. public class BookController {
  22.  
  23.     private static final Logger log = LoggerFactory.getLogger(BookController.class);
  24.  
  25.     private final RabbitTemplate rabbitTemplate;
  26.  
  27.     @Autowired
  28.     public BookController(RabbitTemplate rabbitTemplate) {
  29.         this.rabbitTemplate = rabbitTemplate;
  30.     }
  31.  
  32.     /**
  33.      * this.rabbitTemplate.convertAndSend(RabbitConfig.REGISTER_DELAY_EXCHANGE, RabbitConfig.DELAY_ROUTING_KEY, book); 对应 {@link BookHandler#listenerDelayQueue}
  34.      */
  35.     @GetMapping
  36.     public void defaultMessage() {
  37.         Book book = new Book();
  38.         book.setId("1");
  39.         book.setName("一起来学Spring Boot");
  40.         // 添加延时队列
  41.         this.rabbitTemplate.convertAndSend(RabbitConfig.REGISTER_DELAY_EXCHANGE, RabbitConfig.DELAY_ROUTING_KEY, book, message -> {
  42.             // TODO 第一句是可要可不要,根据自己需要自行处理
  43.             message.getMessageProperties().setHeader(AbstractJavaTypeMapper.DEFAULT_CONTENT_CLASSID_FIELD_NAME, Book.class.getName());
  44.             // TODO 如果配置了 params.put("x-message-ttl", 5 * 1000); 那么这一句也可以省略,具体根据业务需要是声明 Queue 的时候就指定好延迟时间还是在发送自己控制时间
  45.             message.getMessageProperties().setExpiration(5 * 1000 + "");
  46.             return message;
  47.         });
  48.         log.info("[发送时间] - [{}]", LocalDateTime.now());
  49.     }
  50. }

消息消费者

默认情况下 spring-boot-data-amqp 是自动ACK机制，就意味着 MQ 会在消息消费完毕后自动帮我们去ACK，这样依赖就存在这样一个问题：如果报错了，消息不会丢失，会无限循环消费，很容易就吧磁盘空间耗完，虽然可以配置消费的次数但这种做法也有失优雅。目前比较推荐的就是我们手动ACK然后将消费错误的消息转移到其它的消息队列中，做补偿处理。 由于我们需要手动控制ACK，因此下面监听完消息后需要调用basicAck通知rabbitmq消息已被正确消费，可以将远程队列中的消息删除

  1. package com.battcn.handler;
  2.  
  3. import com.battcn.config.RabbitConfig;
  4. import com.battcn.entity.Book;
  5. import com.rabbitmq.client.Channel;
  6. import org.slf4j.Logger;
  7. import org.slf4j.LoggerFactory;
  8. import org.springframework.amqp.core.Message;
  9. import org.springframework.amqp.rabbit.annotation.RabbitListener;
  10. import org.springframework.stereotype.Component;
  11.  
  12. import java.io.IOException;
  13. import java.time.LocalDateTime;
  14.  
  15. /**
  16.  * BOOK_QUEUE 消费者
  17.  *
  18.  * @author Levin
  19.  * @since 2018/4/11 0011
  20.  */
  21. @Component
  22. public class BookHandler {
  23.  
  24.     private static final Logger log = LoggerFactory.getLogger(BookHandler.class);
  25.  
  26.     @RabbitListener(queues = {RabbitConfig.REGISTER_QUEUE_NAME})
  27.     public void listenerDelayQueue(Book book, Message message, Channel channel) {
  28.         log.info("[listenerDelayQueue 监听的消息] - [消费时间] - [{}] - [{}]", LocalDateTime.now(), book.toString());
  29.         try {
  30.             // TODO 通知 MQ 消息已被成功消费,可以ACK了
  31.             channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
  32.         } catch (IOException e) {
  33.             // TODO 如果报错了,那么我们可以进行容错处理,比如转移当前消息进入其它队列
  34.         }
  35.     }
  36. }

主函数

  1. package com.battcn;
  2.  
  3. import org.springframework.boot.SpringApplication;
  4. import org.springframework.boot.autoconfigure.SpringBootApplication;
  5.  
  6. /**
  7.  * @author Levin
  8.  */
  9. @SpringBootApplication
  10. public class Chapter12Application {
  11.  
  12.     public static void main(String[] args) {
  13.         SpringApplication.run(Chapter12Application.class, args);
  14.     }
  15. }

测试

完成准备事项后，启动Chapter12Application 访问 http://localhost:8080/books 将会看到如下内容，就代表一切正常….

  1. 2018-05-23 19:56:36.248  INFO 29048 --- [nio-8080-exec-1] com.battcn.controller.BookController     : [发送时间] - [2018-05-23T19:56:36.248]
  2. 2018-05-23 19:56:41.256  INFO 29048 --- [cTaskExecutor-1] com.battcn.handler.BookHandler           : [listenerDelayQueue 监听的消息] - [消费时间] - [2018-05-23T19:56:41.256] - [Book{id='1', name='一起来学Spring Boot'}]

点关注，不迷路，这是一个程序员都想关注的公众号

转载于:https://my.oschina.net/u/4142269/blog/3069191

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/662693
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号