MQ(MessageQueue)消息队列_rabbitmq direct多个队列

同步调用

同步调用的优点：

时效性较强，可以立即得到结果

同步调用的问题：

耦合度高：

每次加入新的需求，都要修改原来的代码

性能和吞吐能力下降：

调用者需要等待服务提供者响应，如果调用链过长则响应时间等于每次调用的时间之和。

有额外的资源消耗：

调用链中的每个服务在等待响应过程中，不能释放请求占用的资源，高并发场景下会极度浪费系统资源

有级联失败问题：

如果服务提供者出现问题，所有调用方都会跟着出问题，如同多米诺骨牌一样，迅速导致整个微服务群故障

异步调用

异步通信的优点：

耦合度低
性能提升，吞吐量提升
故障隔离：服务没有强依赖，不担心级联失败问题
流量削峰

异步通信的缺点：

依赖于Broker的可靠性、安全性、吞吐能力
架构复杂了，业务没有明显的流程线，不好追踪管理

RabbitMQ单机部署

在Centos7虚拟机中使用Docker来安装

下载镜像，安装MQ，访问

方式一：在线拉取
docker pull rabbitmq:3-management
方式二：从本地加载
上传mq.tar到虚拟机中后，使用命令加载镜像
docker load -i mq.tar

安装MQ（创建并启动容器）
docker run \
 -e RABBITMQ_DEFAULT_USER=benjamin \
 -e RABBITMQ_DEFAULT_PASS=benjamin \
 --name mq \
 --hostname mq1 \
 -p 15672:15672 \
 -p 5672:5672 \
 -d \
 rabbitmq:3-management

docker run -e RABBITMQ_DEFAULT_USER=benjamin -e RABBITMQ_DEFAULT_PASS=benjamin --name mq  --hostname mq1  -p 15672:15672  -p 5672:5672 -d  rabbitmq:3-management

安装MQ（创建并启动容器）并挂载数据卷
docker run \
-e RABBITMQ_DEFAULT_USER=benjamin \
-e RABBITMQ_DEFAULT_PASS=benjamin \
-v mq-plugins:/plugins \
--name mq \
--hostname mq1 \
-p 15672:15672 \
-p 5672:5672 \
-d \
rabbitmq:3-management

访问15672端口
http://192.168.98.129:15672/
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

简单队列模式

publisher实现

创建一个springboot项目publisher作为publish端

public class PublisherTest {
    @Test
    public void testSendMessage() throws IOException, TimeoutException {
        // 1.建立连接
        ConnectionFactory factory = new ConnectionFactory();
        // 1.1.设置连接参数，分别是：主机名、端口号、vhost、用户名、密码
        factory.setHost("192.168.98.129");
        factory.setPort(5672);//mq中消息通信是5672端口
        factory.setVirtualHost("/");
        factory.setUsername("benjamin");
        factory.setPassword("benjamin");
        // 1.2.建立连接
        Connection connection = factory.newConnection();

        // 2.创建通道Channel
        Channel channel = connection.createChannel();

        // 3.创建队列，名字为simple.queue
        String queueName = "simple.queue";
        channel.queueDeclare(queueName, false, false, false, null);

        // 4.发送消息
        String message = "hello, rabbitmq!";
        channel.basicPublish("", queueName, null, message.getBytes());
        System.out.println("发送消息成功：【" + message + "】");

        // 5.关闭通道和连接
        channel.close();
        connection.close();

    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

consumer实现

创建一个springboot项目consumer作为consumer端

import com.rabbitmq.client.*;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class ConsumerTest {

    public static void main(String[] args) throws IOException, TimeoutException {
        // 1.建立连接
        ConnectionFactory factory = new ConnectionFactory();
        // 1.1.设置连接参数，分别是：主机名、端口号、vhost、用户名、密码
        factory.setHost("192.168.98.129");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        factory.setUsername("benjamin");
        factory.setPassword("benjamin");
        // 1.2.建立连接
        Connection connection = factory.newConnection();

        // 2.创建通道Channel
        Channel channel = connection.createChannel();

        // 3.创建队列,因为发布端和消费端不一定谁先建立所以这里消费端也创建一个队列，如果mq中已经有了这个队列，就不再创建了
        String queueName = "simple.queue";
        channel.queueDeclare(queueName, false, false, false, null);

        // 4.订阅消息
        channel.basicConsume(queueName, true, new DefaultConsumer(channel){
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope,
                                       AMQP.BasicProperties properties, byte[] body) throws IOException {
                // 5.处理消息
                String message = new String(body);
                System.out.println("接收到消息：【" + message + "】");
            }
        });
        System.out.println("等待接收消息。。。。");
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

消息已经被消费

SpringAMQP

SpringAMQP是基于RabbitMQ封装的一套模板，并且还利用SpringBoot对其实现了自动装配

以下两种模型一条消息，只能被一个consumer消费

Basic Queue 简单队列模型

消息发送

1，在父工程mq-demo中引入依赖

<!--AMQP依赖，包含RabbitMQ-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
1
2
3
4
5

2，配置MQ地址，在publisher服务的application.yml中添加配置

spring:
  rabbitmq:
    host: 192.168.98.129 # 主机名
    port: 5672 # 端口
    virtual-host: / # 虚拟主机
    username: benjamin # 用户名
    password: benjamin # 密码
1
2
3
4
5
6
7

3，在publisher服务中编写测试类SpringAmqpTest，并利用RabbitTemplate实现消息发送

//让测试在Spring容器环境下执行。如测试类中无此注解，将导致service,dao等自动注入失败
@RunWith(SpringRunner.class)
@SpringBootTest//目的是加载ApplicationContext，启动spring容器
public class SpringAmqpTest {

    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testSendMsgToSimpleQueue(){
        String queueName = "simple.queue";
        String massage = "SpringAmqp Test send msg";
        rabbitTemplate.convertAndSend(queueName,massage);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

消息接收

1，在父工程mq-demo中引入依赖（消息发送时已完成）
2，首先配置MQ地址，在consumer服务的application.yml中添加配置

spring:
  rabbitmq:
    host: 192.168.98.129 # 主机名
    port: 5672 # 端口
    virtual-host: / # 虚拟主机
    username: benjamin # 用户名
    password: benjamin # 密码
1
2
3
4
5
6
7

3，在consumer服务中新建一个类SpringRabbitListener

@Component//注册成一个bean被spring注入
public class SpringRabbitListener {

    @RabbitListener(queues = "simple.queue")//队列名称
    public void listenSimpleQueue(String msg){
        System.out.println("消费者接收到simple.queue的消息是 " + msg);
    }
}
1
2
3
4
5
6
7
8

4，测试
启动consumer服务，然后在publisher服务中运行测试代码，发送MQ消息

WorkQueue任务模型

Work queues，也被称为（Task queues），任务模型。简单来说就是让多个消费者绑定到一个队列，共同消费队列中的消息。
当消息处理比较耗时的时候，可能生产消息的速度会远远大于消息的消费速度。长此以往，消息就会堆积越来越多，无法及时处理。
此时就可以使用work 模型，多个消费者共同处理消息处理，速度就能大大提高了。

消息发送

在publisher服务中的SpringAmqpTest类中添加一个测试方法

/**
     * workQueue
     * 向队列中不停发送消息，模拟消息堆积。
     */
@Test
public void testWorkQueue() throws InterruptedException {
    // 队列名称
    String queueName = "simple.queue";
    // 消息
    String message = "hello, message_";
    for (int i = 0; i < 50; i++) {
        // 发送消息
        rabbitTemplate.convertAndSend(queueName, message + i);
        Thread.sleep(20);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

消息接收

多个消费者绑定到一个队列，同一条消息只会被一个消费者处理，在consumer服务的SpringRabbitListener中添加2个新的方法

@RabbitListener(queues = "simple.queue")
public void listenWorkQueue1(String msg) throws InterruptedException {
    System.out.println("消费者1接收到消息：【" + msg + "】" + LocalTime.now());
    Thread.sleep(20);
}

@RabbitListener(queues = "simple.queue")
public void listenWorkQueue2(String msg) throws InterruptedException {
    System.err.println("消费者2........接收到消息：【" + msg + "】" + LocalTime.now());
    Thread.sleep(200);
}
1
2
3
4
5
6
7
8
9
10
11

能者多劳

修改consumer服务的application.yml文件，通过设置prefetch来控制消费者预取的消息数量，添加配置：

spring:
  rabbitmq:
    host: 192.168.98.129 # 主机名
    port: 5672 # 端口
    virtual-host: / # 虚拟主机
    username: benjamin # 用户名
    password: benjamin # 密码
    listener:
      simple:
        prefetch: 1 # 每次只能获取一条消息，处理完成才能获取下一个消息
1
2
3
4
5
6
7
8
9
10

发布/订阅（以下三种模式可以多个消费者同时消费）

在订阅模型中，多了一个exchange（交换机）角色，而且过程略有变化：

• Publisher：生产者，也就是要发送消息的程序，但是不再发送到队列中，而是发给X（交换机）
• Exchange：交换机，图中的X。一方面，接收生产者发送的消息。另一方面，知道如何处理消息，例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作，取决于Exchange的类型。Exchange有以下3种类型：
  • Fanout：广播，将消息交给所有绑定到交换机的队列
  • Direct：定向，把消息交给符合指定routing key 的队列
  • Topic：通配符，把消息交给符合routing pattern（路由模式） 的队列
• Consumer：消费者，与以前一样，订阅队列，没有变化
• Queue：消息队列也与以前一样，接收消息、缓存消息。
  Exchange（交换机）只负责转发消息，不具备存储消息的能力，因此如果没有任何队列与Exchange绑定，或者没有符合路由规则的队列，那么消息会丢失！

Fanout广播模式

将消息交给所有绑定到交换机的队列

声明队列和交换机
Spring提供了一个接口Exchange，来表示所有不同类型的交换机：

1，在consumer中创建一个类，声明队列、交换机、绑定关系的Bean

@Configuration
public class FanoutConfig {

    //声明一个交换机
    @Bean
    public FanoutExchange fanoutExchange(){
        return new FanoutExchange("ben.fanout");
    
    //声明queue1
    @Bean
    public Queue fanoutQueue1(){
        return new Queue("fanout.queue1");
    }
    //声明queue2
    @Bean
    public Queue fanoutQueue2(){
        return new Queue("fanout.queue2");
    }

    //绑定队列1到交换机
    @Bean
    public Binding fanoutBinding1(Queue fanoutQueue1,FanoutExchange fanoutExchange){
        return BindingBuilder
                .bind(fanoutQueue1)
                .to(fanoutExchange);
    }
    //绑定队列2到交换机
    @Bean
    public Binding fanoutBinding2(Queue fanoutQueue2,FanoutExchange fanoutExchange){
        return BindingBuilder
                .bind(fanoutQueue2)
                .to(fanoutExchange);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

2，消息发送

在publisher服务的SpringAmqpTest类中添加测试方法：

//让测试在Spring容器环境下执行。如测试类中无此注解，将导致service,dao等自动注入失败
@RunWith(SpringRunner.class)
@SpringBootTest//目的是加载ApplicationContext，启动spring容器
public class SpringAmqpTest {
@Test
	public void testSendFanoutExchange() {
	     // 交换机名称
	     String exchangeName = "ben.fanout";
	     // 消息
	     String message = "hello, every one!";
	     // 发送消息
	     rabbitTemplate.convertAndSend(exchangeName, "", message);
	 }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

3，消息接收

在consumer服务的SpringRabbitListener中添加两个方法，作为消费者

@Component//注册成一个bean被spring注入
public class SpringRabbitListener {
	@RabbitListener(queues = "fanout.queue1")
	public void listenFanoutQueue1(String msg) {
	    System.out.println("消费者1接收到Fanout消息：【" + msg + "】");
	}
	
	@RabbitListener(queues = "fanout.queue2")
	public void listenFanoutQueue2(String msg) {
	    System.out.println("消费者2接收到Fanout消息：【" + msg + "】");
	}
}
1
2
3
4
5
6
7
8
9
10
11
12

Direct类型的Exchange

Fanout交换机将消息路由给每一个与之绑定的队列
Direct交换机根据RoutingKey判断路由给哪个队列
如果多个队列具有相同的RoutingKey，则与Fanout功能类似

消息接收 基于注解声明队列和交换机

在consumer的SpringRabbitListener中添加两个消费者，同时基于注解来声明队列和交换机

@Component//注册成一个bean被spring注入
public class SpringRabbitListener {
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = "direct.queue1"),
            exchange = @Exchange(name = "ben.direct", type = ExchangeTypes.DIRECT),
            key = {"red", "blue"}
    ))
    public void listenDirectQueue1(String msg){
        System.out.println("消费者接收到direct.queue1的消息：【" + msg + "】");
    }

    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = "direct.queue2"),
            exchange = @Exchange(name = "ben.direct", type = ExchangeTypes.DIRECT),
            key = {"red", "yellow"}
    ))
    public void listenDirectQueue2(String msg){
        System.out.println("消费者接收到direct.queue2的消息：【" + msg + "】");
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

消息发送

//让测试在Spring容器环境下执行。如测试类中无此注解，将导致service,dao等自动注入失败
@RunWith(SpringRunner.class)
@SpringBootTest//目的是加载ApplicationContext，启动spring容器
public class SpringAmqpTest {
	@Test
	public void testSendDirectExchange() {
	    // 交换机名称
	    String exchangeName = "ben.direct";
	    // 消息
	    String message = "红色警报！日本乱排核废水，导致海洋生物变异，惊现哥斯拉！";
	    // 发送消息
	    rabbitTemplate.convertAndSend(exchangeName, "red", message);
	}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

Topic类型的Exchange

Topic交换机接收的消息RoutingKey必须是多个单词，以 **.** 分割
Topic交换机与队列绑定时的bindingKey可以指定通配符
#：代表0个或多个词
*：代表1个词

消息发送

在publisher服务的SpringAmqpTest类中添加测试方法：

//让测试在Spring容器环境下执行。如测试类中无此注解，将导致service,dao等自动注入失败
@RunWith(SpringRunner.class)
@SpringBootTest//目的是加载ApplicationContext，启动spring容器
public class SpringAmqpTest {
	/**
	     * topicExchange
	     */
	@Test
	public void testSendTopicExchange() {
	    // 交换机名称
	    String exchangeName = "ben.topic";
	    // 消息
	    String message = "喜报！孙悟空大战哥斯拉，胜!";
	    // 发送消息
	    rabbitTemplate.convertAndSend(exchangeName, "china.news", message);
	}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

消息接收

在consumer服务的SpringRabbitListener中添加方法：

@Component//注册成一个bean被spring注入
public class SpringRabbitListener {

    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = "topic.queue1"),
            exchange = @Exchange(name = "ben.topic", type = ExchangeTypes.TOPIC),
            key = "china.#"
    ))
    public void listenTopicQueue1(String msg){
        System.out.println("消费者接收到topic.queue1的消息：【" + msg + "】");
    }

    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = "topic.queue2"),
            exchange = @Exchange(name = "ben.topic", type = ExchangeTypes.TOPIC),
            key = "#.news"
    ))
    public void listenTopicQueue2(String msg){
        System.out.println("消费者接收到topic.queue2的消息：【" + msg + "】");
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

消息转换器

当publisher端发送一个map给mq，默认是JDK的序列化

配置JSON转换器

显然，JDK序列化方式并不合适。我们希望消息体的体积更小、可读性更高，因此可以使用JSON方式来做序列化和反序列化。

1，在publisher和consumer两个服务中都引入依赖：

<dependency>
    <groupId>com.fasterxml.jackson.dataformat</groupId>
    <artifactId>jackson-dataformat-xml</artifactId>
    <version>2.9.10</version>
</dependency>
1
2
3
4
5

2，配置消息转换器。

@Configuration
public class RabbitConfig {
  @Bean
  public RabbitTemplate rabbitTemplate(final ConnectionFactory connectionFactory) {
    final RabbitTemplate rabbitTemplate = new RabbitTemplate(connectionFactory);
    rabbitTemplate.setMessageConverter(jsonMessageConverter());
    return rabbitTemplate;
  }

  @Bean
  public Jackson2JsonMessageConverter jsonMessageConverter() {
    return new Jackson2JsonMessageConverter();
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

3，封装RabbitTemplate

@Component
public class RabbitMQMessageSender  implements MQMessageSender, RabbitTemplate.ConfirmCallback{
  private final RabbitTemplate rabbitTemplate;
  Log log = LogFactory.getLog(RabbitMQMessageSender.class);
  @Autowired
  public RabbitMQMessageSender(RabbitTemplate rabbitTemplate) {
    this.rabbitTemplate = rabbitTemplate;
  }

  @PostConstruct
  public void init(){
    rabbitTemplate.setConfirmCallback(this);
  }

  @Override
  public void confirm(CorrelationData correlationData, boolean ack, String cause) {
    if(!ack){
      log.error("消息接收失败" + cause);
      // 我们这里要做一些消息补发的措施
      System.out.println("id="+correlationData.getId());
    }
  }

  public void send(String routingKey, MQMessage msg) {
    String jsonString = JsonConverter.bean2Json(msg);
    if (jsonString != null) {
      try {
        rabbitTemplate.convertAndSend(routingKey, jsonString);
      } catch (Exception e) {
        // 连接异常，发送日志
        log.error("Failed to send message RabbitMQ Exception: " + e.getMessage());
      }
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

4，发送消息

@Service
public class RadarImg implements IRadarImg {
    @Autowired
    private MQMessageSender mqMessageSender;

    @Override
    public void sendMsg() {
        MQMessage mqMessage = new MQMessage();
        JSONObject jsonObject = new JSONObject();
        HashMap<String, Object> params = new HashMap<>();
        params.put("name","二狗子");
        params.put("age",21);
        mqMessage.setMsg(jsonObject);
        mqMessageSender.send("object.queue", mqMessage);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

4，接受消息

@Component//注册成一个bean被spring注入
public class SpringRabbitListener implements IMessageReceiver {
	@RabbitListener(queues = "object.queue")
    public void onMessageReceived(Map<String,Object> msg){
        System.out.println("消费者接收到topic.queue2的消息：【" + msg + "】");
    }
}
1
2
3
4
5
6
7

消息可靠性

消息从发送，到消费者接收，会经历多个过程：

其中的每一步都可能导致消息丢失，常见的丢失原因包括：

发送时丢失：
生产者发送的消息未送达exchange
消息到达exchange后未到达queue
MQ宕机，queue将消息丢失
consumer接收到消息后未消费就宕机

针对这些问题，RabbitMQ分别给出了解决方案：
生产者确认机制
mq持久化
消费者确认机制
失败重试机制

生产者消息确认

RabbitMQ提供了publisher confirm机制来避免消息发送到MQ过程中丢失。这种机制必须给每个消息指定一个唯一ID。消息发送到MQ以后，会返回一个结果给发送者，表示消息是否处理成功。

返回结果有两种方式：

publisher-confirm，发送者确认
  消息成功投递到交换机，返回ack
  消息未投递到交换机，返回nack
  消息发送过程中出现异常，没有收到回执
  
publisher-return，发送者回执,调用ReturnCallback
  消息投递到交换机了，但是没有路由到队列。返回ACK，及路由失败原因。
1
2
3
4
5
6
7

1，修改配置
修改publisher服务中的application.yml文件，添加下面的内容：

spring:
  rabbitmq:
    publisher-confirm-type: correlated
    publisher-returns: true
    template:
      mandatory: true

publish-confirm-type：开启publisher-confirm，这里支持两种类型：
  simple：同步等待confirm结果，直到超时
  correlated：异步回调，定义ConfirmCallback，MQ返回结果时会回调这个ConfirmCallback
publish-returns：开启publish-return功能，同样是基于callback机制，不过是定义ReturnCallback
template.mandatory：定义消息路由失败时的策略。true，则调用ReturnCallback；false：则直接丢弃消息
1
2
3
4
5
6
7
8
9
10
11
12

2，定义Return回调
每个RabbitTemplate只能配置一个ReturnCallback，因此需要在项目加载时配置：
修改publisher服务，添加一个：

import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.BeansException;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import org.springframework.context.annotation.Configuration;

@Slf4j
@Configuration
public class CommonConfig implements ApplicationContextAware {
    @Override
    public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
        // 获取RabbitTemplate
        RabbitTemplate rabbitTemplate = applicationContext.getBean(RabbitTemplate.class);
        // 设置ReturnCallback
        //alt+enter 可以将匿名内部类改成lamda表达式
        rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> {
            // 投递失败，记录日志
            //当发送时设置错误的routingKey;成功到交换机但未到队列
            // 消息成功投递到交换机！消息ID: 4ccec7ec-a95e-4660-afe3-1370bcde7904
            // 消息发送到队列失败，响应码：312, 失败原因：NO_ROUTE, 交换机: amq.topic, 路由key：ssimple.test
            log.info("消息发送失败，应答码{}，原因{}，交换机{}，路由键{},消息{}",
                     replyCode, replyText, exchange, routingKey, message.toString());
            // 如果有业务需要，可以重发消息
        });
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

3，定义ConfirmCallback
ConfirmCallback可以在发送消息时指定，因为每个业务处理confirm成功或失败的逻辑不一定相同。
在publisher服务的cn.ben.mq.spring.SpringAmqpTest类中，定义一个单元测试方法：

@Slf4j
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAmqpTest {
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testSendMessage2SimpleQueue() throws InterruptedException {
        String routingKey = "simple.test";
        //1,准备消息
        String message = "hello, spring amqp!";
        //2,准备CorrelationData
        //2.1,消息id
        CorrelationData correlationData = new CorrelationData(UUID.randomUUID().toString());
        //2.2,准备ConfirmCallback
        correlationData.getFuture().addCallback(result -> {
            // 判断结果
            if (result.isAck()) {
                // ACK
                //消息成功投递到交换机！消息ID: 782a32ff-2be5-4cf4-97d1-608f76e4f450
                log.debug("消息成功投递到交换机！消息ID: {}", correlationData.getId());
            } else {
                // NACK
                //发消息给不存在的交换机（eamq.topic）；消息投递到交换机失败！消息ID：72afb3bf-5f08-4a11-bce1-0681689804e1
                log.error("消息投递到交换机失败！消息ID：{}", correlationData.getId());
                // 重发消息
            }
        }, ex -> {
            // 记录日志
            log.error("消息发送失败！", ex);
            // 重发消息
        });
        //发送消息
        rabbitTemplate.convertAndSend("amq.topic", routingKey, message, correlationData);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

消息持久化

生产者确认可以确保消息投递到RabbitMQ的队列中，但是消息发送到RabbitMQ以后，如果突然宕机，也可能导致消息丢失。

要想确保消息在RabbitMQ中安全保存，必须开启消息持久化机制。
交换机持久化
队列持久化
消息持久化

交换机持久化

RabbitMQ中交换机默认是非持久化的，mq重启后就丢失。
SpringAMQP中可以通过代码指定交换机持久化：

@Configuration
public class CommonConfig {
    @Bean
    public DirectExchange simpleDirect(){
        // 三个参数：交换机名称、是否持久化、当没有queue与其绑定时是否自动删除
        return new DirectExchange("simple.direct",true,false);
    }
}
1
2
3
4
5
6
7
8

事实上，默认情况下，由SpringAMQP声明的交换机都是持久化的。
可以在RabbitMQ控制台看到持久化的交换机都会带上D的标示：

队列持久化

RabbitMQ中队列默认是非持久化的，mq重启后就丢失。
SpringAMQP中可以通过代码指定交换机持久化：

@Configuration
public class CommonConfig {
    @Bean
    public DirectExchange simpleDirect(){
        // 三个参数：交换机名称、是否持久化、当没有queue与其绑定时是否自动删除
        return new DirectExchange("simple.direct",true,false);
    }
    @Bean
    public Queue simpleQueue(){
        return QueueBuilder.durable("simple.queue2").build();
    }
}
1
2
3
4
5
6
7
8
9
10
11
12

事实上，默认情况下，由SpringAMQP声明的队列都是持久化的。
可以在RabbitMQ控制台看到持久化的队列都会带上D的标示：

消息持久化

利用SpringAMQP发送消息时，可以设置消息的属性（MessageProperties），指定delivery-mode：
1：非持久化
2：持久化

@Slf4j
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAmqpTest {
    @Autowired
    private RabbitTemplate rabbitTemplate;
 	@Test
    public void testDurableMessage() {
        // 1.准备消息
        //delivery_mode:2代表消息已经持久化
        Message message = MessageBuilder.withBody("hello, spring".getBytes(StandardCharsets.UTF_8))//消息体
                //消息持久化 PERSISTENT=2
                .setDeliveryMode(MessageDeliveryMode.PERSISTENT)//持久化
                .build();
        // 2.发送消息
        rabbitTemplate.convertAndSend("simple.queue2", message);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

默认情况下，SpringAMQP发出的任何消息都是持久化的，不用特意指定。

消费者消息确认

RabbitMQ是阅后即焚机制，RabbitMQ确认消息被消费者消费后会立刻删除。

而RabbitMQ是通过消费者回执来确认消费者是否成功处理消息的：消费者获取消息后，应该向RabbitMQ发送ACK回执，表明自己已经处理消息。

设想这样的场景：
1）RabbitMQ投递消息给消费者
2）消费者获取消息后，返回ACK给RabbitMQ
3）RabbitMQ删除消息
4）消费者宕机，消息尚未处理
这样，消息就丢失了。因此消费者返回ACK的时机非常重要。

而SpringAMQP则允许配置三种确认模式：
manual：手动ack，需要在业务代码结束后，调用api发送ack。
auto：自动ack，由spring监测listener代码是否出现异常，没有异常则返回ack；抛出异常则返回nack
none：关闭ack，MQ假定消费者获取消息后会成功处理，因此消息投递后立即被删除

由此可知：
none模式下，消息投递是不可靠的，可能丢失
auto模式类似事务机制，出现异常时返回nack，消息回滚到mq；没有异常，返回ack
manual：自己根据业务情况，判断什么时候该ack
一般，我们都是使用默认的auto即可。

把确认机制修改为auto:

这样当消息发送失败时，mq会一直给消费者发消息，直到消费者成功接收为止。

spring:
  rabbitmq:
    host: 192.168.98.129 # rabbitMQ的ip地址
    port: 5672 # 端口
    username: benjamin
    password: benjamin
    virtual-host: /
    listener:
      simple:
        prefetch: 1
        acknowledge-mode: auto  # 将消费者确认机制设置成auto,会利用aop原理,当mq消息发送失败时重试
1
2
3
4
5
6
7
8
9
10
11

消费失败重试机制

当消费者出现异常后，消息会不断requeue（重入队）到队列，再重新发送给消费者，然后再次异常，再次requeue，无限循环，导致mq的消息处理飙升，带来不必要的压力：

本地重试

我们可以利用Spring的retry机制，在消费者出现异常时利用本地重试，而不是无限制的requeue到mq队列。
修改consumer服务的application.yml文件，添加内容：

# 开启本地重试时，消息处理过程中抛出异常，不会requeue到队列，而是在消费者本地重试
# 重试达到最大次数后，Spring会返回ack，消息会被丢弃
spring:
  rabbitmq:
    listener:
      simple:
      	prefetch: 1
        acknowledge-mode: auto
        retry:
          enabled: true # 开启消费者失败重试
          initial-interval: 1000 # 初识的失败等待时长为1秒
          multiplier: 2 # 失败的等待时长倍数，下次等待时长 = multiplier * last-interval，相当于第1秒重试，第3秒重试，第7秒重试
          max-attempts: 3 # 最大重试次数
          stateless: true # true无状态；false有状态。如果业务中包含事务，这里改为false
1
2
3
4
5
6
7
8
9
10
11
12
13
14

重启consumer服务，重复之前的测试。可以发现：
在重试3次后，SpringAMQP会抛出异常AmqpRejectAndDontRequeueException，说明本地重试触发了
查看RabbitMQ控制台，发现消息被删除了，说明最后SpringAMQP返回的是ack，mq删除消息了

23:44:37:412 DEBUG 2316 --- [ntContainer#0-1] c.i.mq.listener.SpringRabbitListener     : 消费者接收到simple.queue的消息：【msg】
23:44:38:413 DEBUG 2316 --- [ntContainer#0-1] c.i.mq.listener.SpringRabbitListener     : 消费者接收到simple.queue的消息：【msg】
23:44:41:414 DEBUG 2316 --- [ntContainer#0-1] c.i.mq.listener.SpringRabbitListener     : 消费者接收到simple.queue的消息：【msg】
23:44:50:414 DEBUG 2316 --- [ntContainer#0-1] c.i.mq.listener.SpringRabbitListener     : 消费者接收到simple.queue的消息：【msg】
23:44:50:417  WARN 2316 --- [ntContainer#0-1] o.s.a.r.r.RejectAndDontRequeueRecoverer  : Retries exhausted for message (Body:'[B@7417cfd0(byte[3])' MessageProperties [headers={}, contentLength=0, receivedDeliveryMode=NON_PERSISTENT, redelivered=true, receivedExchange=, receivedRoutingKey=simple.queue2, deliveryTag=1, consumerTag=amq.ctag-3_K0U7mGI-Xn0in-aP_T1Q, consumerQueue=simple.queue2])
1
2
3
4
5

失败策略

在之前的测试中，达到最大重试次数后，消息会被丢弃，这是由Spring内部机制决定的。
在开启重试模式后，重试次数耗尽，如果消息依然失败，则需要有MessageRecovery接口来处理，它包含三种不同的实现：

RejectAndDontRequeueRecoverer：重试耗尽后，直接reject，丢弃消息。默认就是这种方式
ImmediateRequeueMessageRecoverer：重试耗尽后，返回nack，消息重新入队
RepublishMessageRecoverer：重试耗尽后，将失败消息投递到指定的交换机
1
2
3

比较优雅的一种处理方案是RepublishMessageRecoverer，失败后将消息投递到一个指定的，专门存放异常消息的队列，后续由人工集中处理。
1）在consumer服务中定义处理失败消息的交换机和队列
2）定义一个RepublishMessageRecoverer，关联队列和交换机

import org.springframework.amqp.core.Binding;
import org.springframework.amqp.core.BindingBuilder;
import org.springframework.amqp.core.DirectExchange;
import org.springframework.amqp.core.Queue;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.amqp.rabbit.retry.MessageRecoverer;
import org.springframework.amqp.rabbit.retry.RepublishMessageRecoverer;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

//Republishing failed message to exchange 'error.direct' with routing key error
@Configuration
public class ErrorMessageConfig {
    @Bean
    public DirectExchange errorMessageExchange(){
        return new DirectExchange("error.direct");
    }

    @Bean
    public Queue errorQueue(){
        return new Queue("error.queue");
    }

    @Bean
    public Binding errorMessageBinding(){
        return BindingBuilder.bind(errorQueue()).to(errorMessageExchange()).with("error");
    }

    @Bean
    public MessageRecoverer republishMessageRecoverer(RabbitTemplate rabbitTemplate){
        return new RepublishMessageRecoverer(rabbitTemplate, "error.direct", "error");
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

综上：
如何确保RabbitMQ消息的可靠性？
开启生产者确认机制，确保生产者的消息能到达队列
开启持久化功能，确保消息未消费前在队列中不会丢失
开启消费者确认机制为auto，由spring确认消息处理成功后完成ack
开启消费者失败重试机制，并设置MessageRecoverer，多次重试失败后将消息投递到异常交换机，交由人工处理

死信交换机

什么是死信？
当一个队列中的消息满足下列情况之一时，可以成为死信（dead letter）：
消费者使用basic.reject或 basic.nack声明消费失败，并且消息的requeue参数设置为false
消息是一个过期消息，超时无人消费
要投递的队列消息满了，无法投递

如果这个包含死信的队列配置了dead-letter-exchange属性，指定了一个交换机，那么队列中的死信就会投递到这个交换机中，而这个交换机称为死信交换机（Dead Letter Exchange，检查DLX）。

如图，一个消息被消费者拒绝了，变成了死信：

利用死信交换机接收死信

在失败重试策略中，默认的RejectAndDontRequeueRecoverer会在本地重试次数耗尽后，发送reject给RabbitMQ，消息变成死信，被丢弃。

我们可以给simple.queue添加一个死信交换机，给死信交换机绑定一个队列。这样消息变成死信后也不会丢弃，而是最终投递到死信交换机，路由到与死信交换机绑定的队列。

我们在consumer服务config中，定义一组死信交换机、死信队列：

// 声明普通的 simple.queue队列，并且为其指定死信交换机：dl.direct
@Bean
public Queue simpleQueue2(){
    return QueueBuilder.durable("simple.queue") // 指定队列名称，并持久化
        .deadLetterExchange("dl.direct") // 指定死信交换机
        .build();
}
// 声明死信交换机 dl.direct
@Bean
public DirectExchange dlExchange(){
    return new DirectExchange("dl.direct", true, false);
}
// 声明存储死信的队列 dl.queue
@Bean
public Queue dlQueue(){
    return new Queue("dl.queue", true);
}
// 将死信队列 与 死信交换机绑定
@Bean
public Binding dlBinding(){
    return BindingBuilder.bind(dlQueue()).to(dlExchange()).with("simple");
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

TTL

一个队列中的消息如果超时未消费，则会变为死信，超时分为两种情况：
消息所在的队列设置了超时时间
消息本身设置了超时时间

1，接收超时死信的死信交换机

在consumer服务的SpringRabbitListener中，定义一个新的消费者，并且声明 死信交换机、死信队列：

/**
声明死信交换机和队列
*/
@RabbitListener(bindings = @QueueBinding(
    value = @Queue(name = "dl.ttl.queue", durable = "true"),
    exchange = @Exchange(name = "dl.ttl.direct"),
    key = "ttl"
))
public void listenDlQueue(String msg){
    log.info("接收到 dl.ttl.queue的延迟消息：{}", msg);
}
1
2
3
4
5
6
7
8
9
10
11

2，声明一个队列，并且指定TTL

要给队列设置超时时间，需要在声明队列时配置x-message-ttl属性：
这个队列设定了死信交换机为dl.ttl.direct
声明交换机，将ttl与交换机绑定：

@Configuration
public class TTLMessageConfig {
    @Bean
    public DirectExchange ttlDirectExchange(){
        return new DirectExchange("ttl.direct");  //设置延时交换机
    }

    @Bean
    public Queue ttlQueue(){
        return QueueBuilder
                .durable("ttl.queue") //持久化队列
                .ttl(10000)  //设置消息过期时间10s
                .deadLetterExchange("dl.direct") //设置死信队列
                .deadLetterRoutingKey("dl")  //设置死信routing key
                .build();
    }

    @Bean
    public Binding ttlBinding(){ //绑定延迟交换机与队列
        return BindingBuilder.bind(ttlQueue()).to(ttlDirectExchange()).with("ttl");
    }

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

3，publisher发送消息，但是不要指定TTL：

@Slf4j
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAmqpTest {
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testTTLMessage() {
        // 1.准备消息
        Message message = MessageBuilder
                .withBody("hello, ttl messsage".getBytes(StandardCharsets.UTF_8))
                .setDeliveryMode(MessageDeliveryMode.PERSISTENT)
                //.setExpiration("5000")  //在发送消息时就设置了延迟时间为5s
                .build();
        // 2.发送消息
        rabbitTemplate.convertAndSend("ttl.direct", "ttl", message);
        // 3.记录日志
        log.info("消息已经成功发送！");
    }

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

4，结果分析

因为队列的TTL值是10000ms，也就是10秒。可以看到消息发送与接收之间的时差刚好是10秒。

3.2，发送消息时，设定TTL

在发送消息时，也可以指定TTL：

@Slf4j
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAmqpTest {
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testTTLMessage() {
        // 1.准备消息
        Message message = MessageBuilder
                .withBody("hello, ttl messsage".getBytes(StandardCharsets.UTF_8))
                .setDeliveryMode(MessageDeliveryMode.PERSISTENT)
                .setExpiration("5000")  //在发送消息时就设置了延迟时间为5s
                .build();
        // 2.发送消息
        rabbitTemplate.convertAndSend("ttl.direct", "ttl", message);
        // 3.记录日志
        log.info("消息已经成功发送！");
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

这次，发送与接收的延迟只有5秒。说明当队列、消息都设置了TTL时，任意一个到期就会成为死信。

延迟队列

利用TTL结合死信交换机，我们实现了消息发出后，消费者延迟收到消息的效果。这种消息模式就称为延迟队列（Delay Queue）模式。
延迟队列的使用场景包括：
延迟发送短信
用户下单，如果用户在15 分钟内未支付，则自动取消
预约工作会议，20分钟后自动通知所有参会人员

因为延迟队列的需求非常多，所以RabbitMQ的官方也推出了一个插件，原生支持延迟队列效果。
这个插件就是DelayExchange插件。

安装DelayExchange插件

1，安装MQ
docker run \
-e RABBITMQ_DEFAULT_USER=benjamin \
-e RABBITMQ_DEFAULT_PASS=benjamin \
-v mq-plugins:/plugins \
--name mq \
--hostname mq1 \
-p 15672:15672 \
-p 5672:5672 \
-d \
rabbitmq:3-management

2，查看插件数据卷目录
docker volume inspect mq-plugins

3，将本地rabbitmq_delayed_message_exchange-3.8.9-0199d11c.ez放到插件目录

4，进入MQ容器内部来执行安装，我的容器名为`mq`，所以执行下面命令：
docker exec -it mq bash

5，进入容器内部后，执行下面命令开启插件
rabbitmq-plugins enable rabbitmq_delayed_message_exchange
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

使用DelayExchange

1，consumer端声明DelayExchange交换机，添加delayed = “true”

/**
 基于DelayExchange插件的延迟交换机，队列，消费者
 */
@RabbitListener(bindings = @QueueBinding(
        value = @Queue(name = "delay.queue", durable = "true"),
        exchange = @Exchange(name = "delay.direct", delayed = "true"),
        key = "delay"
))
public void listenDelayExchange(String msg) {
    log.info("消费者接收到了delay.queue的延迟消息");
}
1
2
3
4
5
6
7
8
9
10
11

2，publisher端发送消息时，一定要携带x-delay属性，指定延迟的时间

@Slf4j
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAmqpTest {
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testSendDelayMessage() throws InterruptedException {
        // 1.准备消息
        Message message = MessageBuilder
                .withBody("hello, delay messsage".getBytes(StandardCharsets.UTF_8))
                .setDeliveryMode(MessageDeliveryMode.PERSISTENT)//持久化
                .setHeader("x-delay", 5000) //设置消息头
                .build();
        // 2.准备CorrelationData
        CorrelationData correlationData = new CorrelationData(UUID.randomUUID().toString());
        // 3.发送消息
        rabbitTemplate.convertAndSend("delay.direct", "delay", message, correlationData);

        log.info("发送消息成功");
    }

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

3，判断是否是延迟消息
默认情况下，交换机会自动发送到队列，这里因为需要在交换机延迟，所以需要加一个是否是延迟消息的判断

@Slf4j //记录日志
@Configuration
public class CommonConfig implements ApplicationContextAware {

    @Override
    public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
        //获取RabbitTemplate对象
        RabbitTemplate rabbitTemplate = applicationContext.getBean(RabbitTemplate.class);
        //配置ReturnCallback
        //alt+enter 可以将匿名内部类改成lamda表达式
        rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> {

            // 判断是否是延迟消息
            Integer receivedDelay = message.getMessageProperties().getReceivedDelay();
            if (receivedDelay != null && receivedDelay > 0) {
                // 是一个延迟消息，忽略这个错误提示
                return;
            }

            // 记录日志
            //当发送时设置错误的routingKey;成功到交换机但未到队列
            // 消息成功投递到交换机！消息ID: 4ccec7ec-a95e-4660-afe3-1370bcde7904
            // 消息发送到队列失败，响应码：312, 失败原因：NO_ROUTE, 交换机: amq.topic, 路由key：ssimple.test
            log.error("消息发送到队列失败，响应码：{}, 失败原因：{}, 交换机: {}, 路由key：{}, 消息: {}",
                    replyCode, replyText, exchange, routingKey, message.toString());
        });

    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

4，测试结果

11:49:05:562  INFO 11392 --- [           main] cn.itcast.mq.spring.SpringAmqpTest       : 发送消息成功
===============消费者成功5s后接收到消息=======================
11:49:10:583  INFO 11112 --- [ntContainer#1-1] c.i.mq.listener.SpringRabbitListener     : 消费者接收到了delay.queue的延迟消息
1
2
3

惰性队列

消息堆积问题
当生产者发送消息的速度超过了消费者处理消息的速度，就会导致队列中的消息堆积，直到队列存储消息达到上限。之后发送的消息就会成为死信，可能会被丢弃，这就是消息堆积问题。

解决消息堆积有两种思路：
增加更多消费者，提高消费速度。也就是我们之前说的work queue模式
扩大队列容积，提高堆积上限

要提升队列容积，把消息保存在内存中显然是不行的。
惰性队列
从RabbitMQ的3.6.0版本开始，就增加了Lazy Queues的概念，也就是惰性队列。惰性队列的特征如下：
接收到消息后直接存入磁盘而非内存
消费者要消费消息时才会从磁盘中读取并加载到内存
支持数百万条的消息存储

1,consumer端，基于@Bean声明lazy-queue

@Configuration
public class LazyConfig {
    @Bean
    public Queue lazyQueue() {
        return QueueBuilder.durable("lazy.queue")
                .lazy() //开启x-queue-mode为lazy
                .build();
    }

    @Bean
    public Queue normalQueue() {
        return QueueBuilder.durable("normal.queue")
                .build();
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

2，publisher端，持续发送消息

@Slf4j
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAmqpTest {
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testLazyQueue() throws InterruptedException {
        long b = System.nanoTime();
        for (int i = 0; i < 1000000; i++) {
            // 1.准备消息
            Message message = MessageBuilder
                    .withBody("hello, Spring".getBytes(StandardCharsets.UTF_8))
                    .setDeliveryMode(MessageDeliveryMode.NON_PERSISTENT)
                    .build();
            // 2.发送消息
            rabbitTemplate.convertAndSend("lazy.queue", message);
        }
        long e = System.nanoTime();
        System.out.println(e - b);
    }

    @Test
    public void testNormalQueue() throws InterruptedException {
        long b = System.nanoTime();
        for (int i = 0; i < 1000000; i++) {
            // 1.准备消息
            Message message = MessageBuilder
                    .withBody("hello, Spring".getBytes(StandardCharsets.UTF_8))
                    .setDeliveryMode(MessageDeliveryMode.NON_PERSISTENT)
                    .build();
            // 2.发送消息
            rabbitTemplate.convertAndSend("normal.queue", message);
        }
        long e = System.nanoTime();
        System.out.println(e - b);
    }

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

3，测试结果分析

接收到消息后直接存入磁盘而非内存，消费者要消费消息时才会从磁盘中读取并加载到内存，所以对内存压力不大

集群部署

普通模式：

普通模式集群不进行数据同步，每个MQ都有自己的队列、数据信息（其它元数据信息如交换机等会同步）。例如我们有2个MQ：mq1，和mq2，如果你的消息在mq1，而你连接到了mq2，那么mq2会去mq1拉取消息，然后返回给你。如果mq1宕机，消息就会丢失。

普通模式集群，我们的计划部署3节点的mq集群：

集群中的节点标示默认都是：rabbit@[hostname]，因此以上三个节点的名称分别为：
rabbit@mq1
rabbit@mq2
rabbit@mq3

1,我们先在之前启动的mq容器中获取一个cookie值，作为集群的cookie。执行下面的命令：
docker exec -it mq cat /var/lib/rabbitmq/.erlang.cookie
2,可以看到cookie值如下：
EARKDKMWWSNDWXCKWSUI
3,停止并删除当前的mq容器，重新搭建集群
docker rm -f mq
4,清理数据卷
docker volume prune
5,在/tmp目录新建一个配置文件 rabbitmq.conf
cd /tmp
# 创建文件
touch rabbitmq.conf
5.1,copy以下内容进入rabbitmq.conf
loopback_users.guest = false
listeners.tcp.default = 5672
cluster_formation.peer_discovery_backend = rabbit_peer_discovery_classic_config
cluster_formation.classic_config.nodes.1 = rabbit@mq1
cluster_formation.classic_config.nodes.2 = rabbit@mq2
cluster_formation.classic_config.nodes.3 = rabbit@mq3

6,再创建一个文件，记录cookie
cd /tmp
# 创建cookie文件
touch .erlang.cookie
# 写入cookie
echo "EARKDKMWWSNDWXCKWSUI" > .erlang.cookie
# 修改cookie文件的权限
chmod 600 .erlang.cookie

7,准备三个目录,mq1、mq2、mq3
cd /tmp
# 创建目录
mkdir mq1 mq2 mq3

8,拷贝rabbitmq.conf、cookie文件到mq1、mq2、mq3
# 进入/tmp
cd /tmp
# 拷贝
cp rabbitmq.conf mq1
cp rabbitmq.conf mq2
cp rabbitmq.conf mq3
cp .erlang.cookie mq1
cp .erlang.cookie mq2
cp .erlang.cookie mq3

9,启动集群
9.1,创建一个网络：
docker network create mq-net
9.2,创建容器并启动
docker run -d --net mq-net \
-v ${PWD}/mq1/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie \
-e RABBITMQ_DEFAULT_USER=benjamin \
-e RABBITMQ_DEFAULT_PASS=benjamin \
--name mq1 \
--hostname mq1 \
-p 8071:5672 \
-p 8081:15672 \
rabbitmq:3.8-management

docker run -d --net mq-net \
-v ${PWD}/mq2/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie \
-e RABBITMQ_DEFAULT_USER=benjamin \
-e RABBITMQ_DEFAULT_PASS=benjamin \
--name mq2 \
--hostname mq2 \
-p 8072:5672 \
-p 8082:15672 \
rabbitmq:3.8-management

docker run -d --net mq-net \
-v ${PWD}/mq3/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
-v ${PWD}/.erlang.cookie:/var/lib/rabbitmq/.erlang.cookie \
-e RABBITMQ_DEFAULT_USER=benjamin \
-e RABBITMQ_DEFAULT_PASS=benjamin \
--name mq3 \
--hostname mq3 \
-p 8073:5672 \
-p 8083:15672 \
rabbitmq:3.8-management

10,访问mq
http://192.168.98.129:8081/
http://192.168.98.129:8082/
http://192.168.98.129:8083/
当在8081创建queue时，8082,8083可以取到8081的数据（8082,8083引用了8081的数据）。
如果声明这个queue的8081宕机了,因为8082,8083只是引用了8081的数据，8081创建的queue就不能使用了
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88

镜像模式

普通模式中，一旦创建队列的主机宕机，队列就会不可用。不具备高可用能力。如果要解决这个问题，必须使用官方提供的镜像集群方案。

镜像模式的特征

默认情况下，队列只保存在创建该队列的节点上。而镜像模式下，创建队列的节点被称为该队列的主节点，队列还会拷贝到集群中的其它节点，也叫做该队列的镜像节点。

但是，不同队列可以在集群中的任意节点上创建，因此不同队列的主节点可以不同。甚至，一个队列的主节点可能是另一个队列的镜像节点。

用户发送给队列的一切请求，例如发送消息、消息回执默认都会在主节点完成，如果是从节点接收到请求，也会路由到主节点去完成。镜像节点仅仅起到备份数据作用。

当主节点接收到消费者的ACK时，所有镜像都会删除节点中的数据。

镜像模式的配置

镜像模式的配置有3种模式：

exactly模式

1,进入容器
docker exec -it mq1 bash
2,执行命令
rabbitmqctl set_policy ha-two "^two\." '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'

- `rabbitmqctl set_policy`：固定写法
- `ha-two`：策略名称，自定义
- `"^two\."`：匹配队列的正则表达式，符合命名规则的队列才生效，这里是任何以`two.`开头的队列名称
- `'{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'`: 策略内容
  - `"ha-mode":"exactly"`：策略模式，此处是exactly模式，指定副本数量
  - 我们使用exactly模式的镜像，因为集群节点数量为3，因此镜像数量就设置为2.
  - `"ha-params":2`：策略参数，这里是2，就是副本数量为2，1主1镜像
  - `"ha-sync-mode":"automatic"`：同步策略，默认是manual，即新加入的镜像节点不会同步旧的消息。如果设置为automatic，则新加入的镜像节点会把主节点中所有消息都同步，会带来额外的网络开销

3,当集群mq1，创建了队列1时，会指定比如mq2为他的镜像，当mq1宕机时，会以mq2为主节点，mq3为镜像节点
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

创建queue时，必须以two开发，因为我们的配置就是以two开头的

在任意一个mq控制台查看队列

让two.queue的主节点mq1宕机(docker stop mq1)

查看队列状态,发现依然是健康的！并且其主节点切换到了rabbit@mq2上

all模式

rabbitmqctl set_policy ha-all "^all\." '{"ha-mode":"all"}'

- `ha-all`：策略名称，自定义
- `"^all\."`：匹配所有以`all.`开头的队列名
- `'{"ha-mode":"all"}'`：策略内容
  - `"ha-mode":"all"`：策略模式，此处是all模式，即所有节点都会称为镜像节点
1
2
3
4
5
6

nodes模式

rabbitmqctl set_policy ha-nodes "^nodes\." '{"ha-mode":"nodes","ha-params":["rabbit@nodeA", "rabbit@nodeB"]}'

- `rabbitmqctl set_policy`：固定写法
- `ha-nodes`：策略名称，自定义
- `"^nodes\."`：匹配队列的正则表达式，符合命名规则的队列才生效，这里是任何以`nodes.`开头的队列名称
- `'{"ha-mode":"nodes","ha-params":["rabbit@nodeA", "rabbit@nodeB"]}'`: 策略内容
  - `"ha-mode":"nodes"`：策略模式，此处是nodes模式
  - `"ha-params":["rabbit@mq1", "rabbit@mq2"]`：策略参数，这里指定副本所在节点名称
1
2
3
4
5
6
7
8

仲裁队列

从RabbitMQ 3.8版本开始，引入了新的仲裁队列，他具备与镜像队里类似的功能，但使用更加方便。

添加仲裁队列

在任意控制台添加一个队列，一定要选择队列类型为Quorum类型。

在任意控制台查看队列：

可以看到，仲裁队列的 + 2字样。代表这个队列有2个镜像节点。
因为仲裁队列默认的镜像数为5。如果你的集群有7个节点，那么镜像数肯定是5；而我们集群只有3个节点，因此镜像数量就是3.

Java代码创建仲裁队列

1,定义一个队列指定quorum属性

@Configuration
public class QuorumConfig {
    @Bean
    public Queue quorumQueue() {
        return QueueBuilder.durable("quorum.queue2").quorum().build();
    }
}
1
2
3
4
5
6
7

2,SpringAMQP连接MQ集群
注意，application.yml里address来代替host、port方式
application.yml

spring:
  rabbitmq:
    # host: 192.168.98.129 # rabbitMQ的ip地址
    # port: 5672 # 端口
    addresses: 192.168.98.129:8071, 192.168.98.129:8072, 192.168.98.129:8073
    username: benjamin
    password: benjamin
    virtual-host: /
    listener:
      simple:
        prefetch: 1
        acknowledge-mode: auto
        retry:
          enabled: true
          initial-interval: 1000
          multiplier: 3
          max-attempts: 4
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

3，consumer端定义一个RabbitListener去监听这个queue

@Slf4j
@Component
public class SpringRabbitListener {

    @RabbitListener(queues = "quorum.queue2")
        public void listenQuorumQueue(String msg) {
        log.debug("消费者接收到quorum.queue2的消息：【" + msg + "】");
        log.info("消费者处理消息成功");
    }
}
1
2
3
4
5
6
7
8
9
10

4，查看Rabbit控制台，创建的依然是仲裁队列