赞
踩
目录
消息队列(Message Queue,简称MQ),从字面意思上看,本质是个队列,FIFO先入先
出,只不过队列中存放的内容是message而已
作用:应用程序"对"应用程序的通信方法。
主要解决异步处理、应用解耦、流量削锋等问题,实现高性能,高可用,科伸缩和最终一致性架构
1.异步处理
用户注册后,需要发注册邮件和注册短信
2.应用解耦
用户下单后,订单系统需要通知库存系统
3.流量削锋(重点)
流量削锋也是消息队列中的常用场景,一般在秒杀或团抢活动中使用广泛
应用场景:秒杀活动,一般会因为流量过大,导致流量暴增,应用挂掉。为解决这个问题,一般需要在应用前端加入消息队列
a.可以控制活动的人数
b.可以缓解短时间内高流量压垮应用
用户的请求,服务器接收后,首先写入消息队列。假如消息队列长度超过最大数量,则直接抛弃用户请求或跳转到错误页面。
秒杀业务根据消息队列中的请求信息,再做后续处理
4.日志处理
日志处理是指将消息队列用在日志处理中,比如Kafka的应用,解决大量日志传输的问题
1.日志采集客户端,负责日志数据采集,定时写受写入Kafka队列
2.Kafka消息队列,负责日志数据的接收,存储和转发
3.日志处理应用:订阅并消费kafka队列中的日志数据
串行开发:
并行开发:
引入消息中间件:
生产者(订单)、队列、消费者(支付微服务以及短信微服务)
MQ 框架非常之多,比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka,以及阿里开源的RocketMQ。
本文主要介绍RabbitMq
RabbitMQ是以AMQP协议实现的一种消息中间件产品。AMQP是Advanced Message Queuing Protocol 的简称,它是一个面向消息中间的开发式标准应用层协议。
主要获取镜像的时候要获取management版本的,不要获取last版本的,management版本的才带有管理界面
docker search rabbitmq:management
docker pull rabbitmq:management
5672:属于通信端口
15672:RabbitMQ管理界面端口
方式一:默认guest用户,密码也是guest
docker run -d -p 5672:5672 -p 15672:15672 --name rabbitmq rabbitmq:management
方式二:设置用户名和密码
- docker run -d \
- --name my-rabbitmq \
- -p 5672:5672 -p 15672:15672 \
- -v /data:/var/lib/rabbitmq \
- --hostname my-rabbitmq-host \
- -e RABBITMQ_DEFAULT_VHOST=my_vhost \
- -e RABBITMQ_DEFAULT_USER=admin \
- -e RABBITMQ_DEFAULT_PASS=admin \
- --restart=always \
- rabbitmq:management
参数说明:
-d:后台运行容器
-name:指定容器名
-p:指定服务运行的端口(5672:应用访问端口;15672:控制台Web端口号)
-v:映射目录或文件,启动了一个数据卷容器,数据卷路径为:/var/lib/rabbitmq,再将此数据卷映射到住宿主机的/data目录
--hostname:主机名(RabbitMQ的一个重要注意事项是它根据所谓的 “节点名称” 存储数据,默认为主机名)
-e:指定环境变量;(
RABBITMQ_DEFAULT_VHOST:默认虚拟机名;
RABBITMQ_DEFAULT_USER:默认的用户名;
RABBITMQ_DEFAULT_PASS:默认用户名的密码)
--restart=always:当Docker重启时,容器能自动启动
rabbitmq:management:镜像名注1:RABBITMQ_DEFAULT_VHOST=my_vhost,my_vhost名字请记好,在之后的编程中要用到,
如果启动时没指定,默认值为/4.进入RabbitMQ管理平台进行相关操作
注1:容器启动后,可以通过docker logs 窗口ID/容器名字 查看日志
docker logs my-rabbitmq
注2:停止并删除所有容器
docker stop $(docker ps -aq) && docker rm $(docker ps -aq)
后台地址:http://[宿主机IP]:15672
默认账号:guest/guest,用户也可以自己创建新的账号,例如:admin/admin
1.Virtual Hosts
就象mysql有数据库的概念并且可以指定用户对库和表等操作的权限。那RabbitMQ呢?RabbitMQ也有类似的权限管理。
在RabbitMQ中可以虚拟消息服务器VirtualHost,每个VirtualHost相当于一个相对独立的RabbitMQ服务器,
每个VirtualHost之间是相互隔离的。exchange、queue、message不能互通另外,虚拟主机的限制有两个:最大连接数和最大队列数
详情见:images/05 RibbitMQ的Virtual Hosts.png
2.RabbitMQ关键名词
Server(Broker):接收客户端连接,实现AMQP协议的消息队列和路由功能的进程;
Virtual Host:虚拟主机的概念,类似权限控制组,一个Virtual Host里可以有多个Exchange和Queue。
Exchange:交换机,接收生产者发送的消息,并根据Routing Key将消息路由到服务器中的队列Queue。
ExchangeType:交换机类型决定了路由消息行为,RabbitMQ中有三种类型Exchange,分别是fanout、direct、topic;
Message Queue:消息队列,用于存储还未被消费者消费的消息;
Message:由Header和body组成,Header是由生产者添加的各种属性的集合,包括Message是否被持久化、优先级是多少、由哪个Message Queue接收等;body是真正需要发送的数据内容;
BindingKey:绑定关键字,将一个特定的Exchange和一个特定的Queue绑定起来。
6. MQ的核心概念
生产者、队列、消费者、消息生产者生产消息并投递到队列中,
消费者可以从队列中获取消息并消费,
消息指的是各个服务之间要传递的数据
生产者与消费者属于一个项目
打开IDEA创建Spring boot项目
接下来就下一步,下一步,直到创建项目就好了。
导入依赖,注意之前我们用的是阿里云镜像,现在我们用的不是阿里云镜像了
它创建的镜像是用的最新版本,目前还是存在一些问题的,我们要改一下。如下:
- <?xml version="1.0" encoding="UTF-8"?>
- <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
- xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
- <modelVersion>4.0.0</modelVersion>
- <parent>
- <groupId>org.springframework.boot</groupId>
- <artifactId>spring-boot-starter-parent</artifactId>
- <version>2.7.2</version>
- <relativePath/> <!-- lookup parent from repository -->
- </parent>
- <groupId>com.jwj</groupId>
- <artifactId>rabbitmq01</artifactId>
- <version>0.0.1-SNAPSHOT</version>
- <name>rabbitmq01</name>
- <description>Demo project for Spring Boot</description>
- <properties>
- <java.version>8</java.version>
- </properties>
- <dependencies>
- <dependency>
- <groupId>org.springframework.boot</groupId>
- <artifactId>spring-boot-starter</artifactId>
- </dependency>
-
- <dependency>
- <groupId>org.springframework.boot</groupId>
- <artifactId>spring-boot-starter-test</artifactId>
- <scope>test</scope>
- </dependency>
-
- <!-- 消息中心协议-->
- <dependency>
- <groupId>org.springframework.boot</groupId>
- <artifactId>spring-boot-starter-amqp</artifactId>
- </dependency>
- </dependencies>
-
- <build>
- <plugins>
- <plugin>
- <groupId>org.springframework.boot</groupId>
- <artifactId>spring-boot-maven-plugin</artifactId>
- </plugin>
- </plugins>
- </build>
-
- </project>
注意:当转成yml,转不成功的原因是:可能有备注
##项目端口
server.port=8080
## rabbitmq config##虚拟机的主机号
spring.rabbitmq.host=192.168.199.144##通信端口
spring.rabbitmq.port=5672##用户名,密码
spring.rabbitmq.username=springboot
spring.rabbitmq.password=123456##虚拟主机
spring.rabbitmq.virtual-host=my_vhost
- server:
- port: 8080
- ## rabbitmq config
- spring:
- rabbitmq:
- host: 192.168.29.128
- password: 123456
- port: 5672
- username: jwj
- ## 与启动容器时虚拟主机名字一致
- virtual-host: my_vhost
配置类主要来配置队列、交换器、路由等高级信息
- package com.jwj.rabbitmq01.config;
-
- import org.springframework.amqp.core.Queue;
- import org.springframework.context.annotation.Bean;
- import org.springframework.context.annotation.Configuration;
-
- @Configuration
- public class RabbitConfig {
- @Bean
- public Queue firstQueue() {
- // 创建一个队列,名称为:first
- return new Queue("first");
- }
- }
- package com.jwj.rabbitmq01.component;
-
- import org.springframework.amqp.core.AmqpTemplate;
- import org.springframework.beans.factory.annotation.Autowired;
- import org.springframework.stereotype.Component;
-
- @Component
- public class Sender {
- @Autowired
- private AmqpTemplate rabbitTemplate;
-
- public void send() {
- rabbitTemplate.convertAndSend("first", "test rabbitmq message !!!");
- }
- }
把我们最开始的测试类删除,用这个
- package com.jwj.rabbitmq01;
-
- import com.jwj.rabbitmq01.component.Sender;
- import org.junit.Test;
- import org.junit.runner.RunWith;
- import org.springframework.beans.factory.annotation.Autowired;
- import org.springframework.boot.test.context.SpringBootTest;
- import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;
-
- @RunWith(SpringJUnit4ClassRunner.class)
- @SpringBootTest
- public class RabbitmqTest {
-
- @Autowired
- private Sender sender;
-
- @Test
- public void testRabbitmq() throws Exception {
- sender.send();
- }
- }
注解作用:
@RabbitListener注解:定义该类需要监听的队列
@RabbitHandler注解:指定对消息的处理
- package com.jwj.rabbitmq01.component;
-
- import org.springframework.amqp.rabbit.annotation.RabbitHandler;
- import org.springframework.amqp.rabbit.annotation.RabbitListener;
- import org.springframework.stereotype.Component;
-
- @Component
- @RabbitListener(queues = "first")
- public class Receiver {
- @RabbitHandler
- public void process(String msg) {
- System.out.println("receive msg : " + msg);
- }
- }
运行测试 RabbitmqTest 方法
执行测试方法 RabbitmqTest ,控制台输出:receive msg : test rabbitmq message !!! 集成Rabbit MQ 完毕!
注1:测试用例报错“@RunWith和@SpringBootTest注解失效”
解决方案:将测试用例保存到test/java目录下,而非main/java目录下
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。