RabbitMQ基础概念及入门demo示例_rabitmqdemo

1.RabbitMQ

RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）

1.1 前置概念

1.1.1 AMQP核心概念

虚拟主机（virtual host）或（vhost）

• 一组交换机、队列和绑定器被称为 虚拟主机（vhost）
• RabbitMQ server 可以说就是一个消息队列服务器实体（Broker）
  • Broker当中可以有多个用户，而用户只能在虚拟主机的粒度进行权限控制，所以RabbitMQ中需要多个虚拟主机
  • 每一个RabbitMQ服务器都有一个默认的虚拟主机

交换机（exchange）

• 它指定消息按什么规则，路由到哪个队列。它可以被理解成具有路由表的路由程序。（发送消息的实体）
• 交换机可以存在多个，每个交换机在自己独立的进程当中执行，因此增加多个交换机就是增加多个进程，可以充分利用服务器上的CPU核以便达到更高的效率。
• Exchange的类型
  • Direct：直接交换机通过消息上的路由键直接对消息进行分发，相当于精确匹配，一对一
  • Topic：这个交换机会将路由键和绑定上的模式进行通配符匹配，相当于模糊匹配，一对多
  • Fanout：交换机会将消息发送到所有和它进行绑定的队列上，广播，群发
  • Headers：消息头交换机使用消息头的属性进行消息路由，相当于模糊匹配(like header%)，一对多

队列（queue）

• 队列是消息载体，每个消息都会被投入到一个或多个队列
• 试图创建一个已经存在的队列，RabbitMQ会直接忽略这个请求（接收消息的实体）。

绑定器（bind）

• 作用：把exchange和queue按照路由规则绑定起来
  • 将交换器和队列连接起来，并且封装消息的路由信息

1.1.2 程序中连接与消息使用的两个关键概念

连接（Connection）

• 与RabbitMQ Server建立的一个连接
  • 由ConnectionFactory创建
  • 每个connection只与一个物理的Server进行连接，此连接是基于Socket进行连接的
• AMQP一般使用TCP

通道 （Channel）

• 消息通道（主要进行相关定义，发送消息，获取消息，事务处理等）
• 在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务

1.2 七种工作模式

• 简单模式：一个生产者，一个消费者
• work模式：一个生产者，多个消费者，每个消费者获取到的消息唯一
• 订阅模式：一个生产者发送的消息会被多个消费者获取
• 路由模式： 发送消息到交换机并且要指定路由key ，消费者将队列绑定到交换机时需要指定路由key
• topic模式：将路由键和某模式进行匹配，此时队列需要绑定在一个模式上，“#”匹配一个词或多个词，“*”只匹配一个词
• RPC模式：使用RabbitMQ构建RPC系统：客户端和可伸缩RPC服务器
• 发布确认：与发布者进行可靠的发布确认

1.3 安装

# 1.拉取镜像
[root@izbp1j6sv2mtxgnuthuw6bz ~]# docker pull rabbitmq:3.8-management
# 2.查看镜像
[root@izbp1j6sv2mtxgnuthuw6bz ~]# docker images
# 3.启动
[root@izbp1j6sv2mtxgnuthuw6bz ~]# docker run -itd --rm --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:3.8-management
a5ca877169d4eda31a9c404f94565c118f1cc64de2cbb398ff17a66e72c682cd
# 4.查看启动情况
[root@izbp1j6sv2mtxgnuthuw6bz ~]# docker ps
CONTAINER ID   IMAGE                     COMMAND                  CREATED         STATUS         PORTS                                                                                                         NAMES
a5ca877169d4   rabbitmq:3.8-management   "docker-entrypoint.s…"   4 seconds ago   Up 3 seconds   4369/tcp, 5671/tcp, 0.0.0.0:5672->5672/tcp, 15671/tcp, 15691-15692/tcp, 25672/tcp, 0.0.0.0:15672->15672/tcp   rabbitmq
1
2
3
4
5
6
7
8
9
10
11

问题

• 防火墙问题
• 启动web管理界面

# 进入rabbitmq
[root@izbp1j6sv2mtxgnuthuw6bz ~]# docker exec -it rabbitmq bash
# 启动web管理界面
root@a5ca877169d4:/# rabbitmq-plugins enable rabbitmq_management
1
2
3
4

1.3.1 添加新用户

# 创建账号
root@a5ca877169d4:/# rabbitmqctl add_user admin admin
Adding user "admin" ...
Done. Don't forget to grant the user permissions to some virtual hosts! See 'rabbitmqctl help set_permissions' to learn more.

# 设置用户角色
root@a5ca877169d4:/# rabbitmqctl set_user_tags admin administrator
Setting tags for user "admin" to [administrator] ...

# 设置用户权限
# set_permissions [-p <vhostpath>] <user> <conf> <write> <read>
# 用户 admin 具有/vhost1 这个 virtual host 中所有资源的配置、写、读权限
root@a5ca877169d4:/# rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"
Setting permissions for user "admin" in vhost "/" ...

# 查看当前用户和角色
root@a5ca877169d4:/# rabbitmqctl list_users
Listing users ...
user    tags
admin   [administrator]
guest   [administrator]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

1.3 Hello World

• 在本教程的这一部分中，我们将用 Java 编写两个程序；

• 发送单个消息的生产者和接收消息并将其打印出来的消费者

• 在下图中，“P”是我们的生产者，“C”是我们的消费者

• 中间的盒子是一个队列——RabbitMQ 代表消费者保留的消息缓冲区
  

1.3.1 依赖

<!--指定 jdk 编译版本--> 
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <configuration>
                <source>8</source>
                <target>8</target>
            </configuration>
        </plugin>
    </plugins>
</build> 
<dependencies>
    <!--rabbitmq 依赖客户端-->
    <dependency>
        <groupId>com.rabbitmq</groupId>
        <artifactId>amqp-client</artifactId>
        <version>5.8.0</version>
    </dependency>
    <!--操作文件流的一个依赖-->
    <dependency>
        <groupId>commons-io</groupId>
        <artifactId>commons-io</artifactId>
        <version>2.6</version>
    </dependency>
</dependencies>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

1.3.2 消息生产者

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

public class Producer {
    private final static String QUEUE_NAME = "hello";

    public static void main(String[] args) throws Exception {
        //创建一个连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("IP");
        factory.setUsername("admin");
        factory.setPassword("admin");
        //channel 实现了自动 close 接口 自动关闭 不需要显示关闭
        //创建连接
        Connection connection = factory.newConnection();
        //获取信道
        Channel channel = connection.createChannel();
        /**
         * 生成一个队列
         * 1.队列名称
         * 2.队列里面的消息是否持久化 也就是是否用完就删除
         * 3.该队列是否只供一个消费者进行消费 是否进行共享 true 可以多个消费者消费
         * 4.是否自动删除 最后一个消费者端开连接以后 该队列是否自动删除 true 自动删除
         * 5.其他参数 - 延迟、死信等
         */
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);
        String message = "hello world";
        /**
         * 发送一个消息
         * 1.发送到那个交换机
         * 2.路由的 key 是哪个
         * 3.其他的参数信息，传递的消息携带的properties
         * 4.发送消息的消息体
         */
        channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
        System.out.println("消息发送完毕");
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

1.3.3 消息消费者

import com.rabbitmq.client.*;

public class Consumer {
    private final static String QUEUE_NAME = "hello";

    public static void main(String[] args) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("IP");
        factory.setUsername("admin");
        factory.setPassword("admin");
        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();

        System.out.println("等待接收消息.........");

        //推送的消息如何进行消费的接口回调
        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody());
            System.out.println(message);
        };
        //取消消费的一个回调接口 如在消费的时候队列被删除掉了
        CancelCallback cancelCallback = (consumerTag) -> {
            System.out.println("消息消费被中断");
        };
        /**
         * 消费者消费消息 - 接受消息
         * 1.消费哪个队列
         * 2.消费成功之后是否要自动应答 true 代表自动应答 false 手动应答
         * 3.消费者未成功消费的回调
         * 4.消息被取消时的回调
         */
        channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

1.4 Work Queues

1.4.1 抽取工具类

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

public class RabbitMqUtils {
    //得到一个连接的 channel
    public static Channel getChannel() throws Exception {
        //创建一个连接工厂
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("IP");
        factory.setUsername("admin");
        factory.setPassword("123456");
        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();
        return channel;
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

1.4.2 启动两个工作线程来接收消息

import com.oddfar.utils.RabbitMqUtils;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;

// 这是一个工作线程，相当于之前的消费者
public class Worker01 {

    private static final String QUEUE_NAME = "hello";

    public static void main(String[] args) throws Exception {

        Channel channel = RabbitMqUtils.getChannel();
		channel.basicQos(1);
        //消息接受
        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String receivedMessage = new String(delivery.getBody());
            System.out.println("接收到消息:" + receivedMessage);
        };
        //消息被取消
        CancelCallback cancelCallback = (consumerTag) -> {
            System.out.println(consumerTag + "消费者取消消费接口回调逻辑");

        };

        System.out.println("C1 消费者启动等待消费.................. ");
        channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);

    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

1.4.3 启动一个发送线程

public class Task01 {
    public static final String QUEUE_NAME = "hello";

    public static void main(String[] args) throws Exception {

        Channel channel = RabbitMqUtils.getChannel();
        Scanner scanner = new Scanner(System.in);
        while (scanner.hasNext()) {
            String message = scanner.next();
            channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
            System.out.println("消息发送完成：" + message);
        }

    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

1.5 小结

server: 服务器

v-host：名称上来说，虚拟主机

exchange： 交换机（消息通常是发送到交换机）

queue： 队列（存放消息的）

bind: 将交换机和队列进行绑定

1.5.1消息队列持久化

创建一个队列的时候，可以是非持久化的，也可以是持久化的

• 非持久化：rabbitmq如果重启，该队列就会被删除
• 持久化：重启不影响
• 消息持久化必须要消息队列持久化

boolean durable = true;
channel.queueDeclare("hello", durable, false, false, null);
1
2

1.5.2消息持久化

消息持久化，可以一定程度上去预防消息丢失，需要设置MessageProperties.PERSISTENT_TEXT_PLAIN

注意：配置了消息持久化，并不能完全保证消息不丢失，只能保证消息到了队列中不消失

消息丢失的方式：

• 发送方发送到队列的时候，丢了
• 交换机到队列中，丢了
• 队列到消费者，丢了，目前所学知识点，队列中还有消息，再次发送

后续解决方案，参考确认Confirm，Return

channel.basicPublish("", QUEUE_NAME, MessageProperties.PERSISTENT_TEXT_PLAIN, message.getBytes());
1

1.5.3ACK

默认情况下，消费者接受到消息的时候（但是通常接收到消息就处理了），就会进行自动应答（ACK）,如果一个消费者处理时间长，或者异常了，所以需要手动ACK

• 自动ACK

DeliverCallback deliverCallback = (consumerTag, delivery) -> {
    String message = new String(delivery.getBody(), "UTF-8");
    System.out.println(" [x] Received '" + message + "'");
};
//true表示自动：autoAck
channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });
1
2
3
4
5
6

• 手动ACK

//1.channel.basicConsume 将true改为false
channel.basicConsume(QUEUE_NAME, false, deliverCallback, consumerTag -> { });

//在finally中手动ack
channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
1
2
3
4
5

1.5.4消费不均匀

工作模式中，默认轮询，会出现一些问题，导致消费不均匀，比如：十个消息，分别给两个消费者五个，但消费者能力强的先处理完这五个消息会出现空闲的情况，导致消费不均匀

所以我们可以设置一个抓取值，官网给的是一次抓取一个任务（每次抓取一个消息，当上一个消息没有ack的时候，不抓取新的消息）

int prefetchCount = 1;
channel.basicQos(prefetchCount);
1
2

注意：这里的抓取值给的是1，这个值太小（消费者能力比较强），但具体还是看服务性能和消息复杂度，通常情况下100-300

1.6 Publish/Subscribe（fanout）

多出来的x就是交换机，交换机接收发送方的消息，将消息发送到消息队列中，交换机还有不同的类型

Exchange类型：

• Fanout Exchange（扇型交换机）：交换机会将消息发送到所有和它进行绑定的队列，广播，群发。
• Direct Exchange（直连交换机）：直接交换机通过消息上的路由键直接对消息进行分发，相当于精准匹配，一对一
• Topic Exchange（主题交换机）: 这个交换机会将路由键和绑定上的模式进行通配符匹配，相当于模糊匹配，一对多
• Headers Exchange（头交换机）：消息头交换机使用消息头的属性进行消息路由，相当于模糊匹配（like header%),一对多

1.7Routing（direct）

在上一个发布订阅中，实现了一对多，但是每一个消息，都会执行我们指定的两个操作，粒度更加细致

对于error级别的信息需要打印到控制台，并保存到本地，对于普通信息，只需要打印到控制台

1.8Topics(topic)

发送到主题交换的消息不能有任意的 routing_key - 它必须是单词列表，由点分隔。

这些词可以是任何东西，但通常它们指定与消息相关的一些特征。一些有效的路由键示例：“ stock.usd.nyse ”、“ nyse.vmw ”、“ quick.orange.rabbit ”。路由键中可以有任意多的单词，最多为 255 个字节。

• *（星号）可以只替换一个单词。
• # (hash) 可以代替零个或多个单词。
• 绑定的时候出现情况
  • 当一个队列绑定的是#，那么这个队列是不是接收了所有消息，这个时候跟fanout有点像
  • 当一个队列绑定的既没有#也没有*，那就是一个direct

1.9Publisher Confirms

不仅仅是防止发送方到mq的消息丢失，还可以通过异步的方式来提高效率

1. 为了消息不丢失，持久化，持久化是同步的，可以通过confirm的异步确认提高效率