赞
踩
先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
消息队列RabbitMQ提供了六种工作模式:简单模式、work queues、发布确认模式、发布订阅模式、路由模式、主题模式。本文将介绍前三种工作模式。所有的案例代码都是使用Java语言实现。
本工作模式主要设计三个角色:生产者、MQ,消费者。由生产者将数据发送到MQ消息队列中,再通过MQ将消息数据转发到消费者,完成一次整体消息数据的通信。
1.创建Java maven工程,添加如下依赖
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration> <source>8</source> <target>8</target> </configuration> </plugin> </plugins> </build> <dependencies> <!--rabbitmq 依赖客户端--> <dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-client</artifactId> <version>5.8.0</version> </dependency> <!--操作文件流的一个依赖--> <dependency> <groupId>commons-io</groupId> <artifactId>commons-io</artifactId> <version>2.6</version> </dependency> </dependencies>
2.消息数据生产者
public class Producer { // 队列名称 public static final String QUEUE\_NAME = "hello"; public static void main(String[] args) throws IOException, TimeoutException { // 创建连接工厂 ConnectionFactory factory = new ConnectionFactory(); // 工厂IP 连接rabbitmq队列 factory.setHost("xxx.xxx.xxx.xxx"); // 用户名 factory.setUsername("admin"); // 密码 factory.setPassword("123"); // 创建连接 Connection connection = factory.newConnection(); // 获取信道 Channel channel = connection.createChannel(); /\*\* \* 生成一个队列 \* 1.队列名称 \* 2.队列中的消息是否持久化(磁盘),默认存储在内存 \* 3.该队列是否只供一个消费者进行消费,是否进行消息共享 true 多个消费者 false 一个消费者 \* 4.是否自动删除 最后一个消费者断开连接后,该队列是否自动删除 true 自动删除 false 不删除 \* 5.其他参数 死信队列。。。 \*/ channel.queueDeclare(QUEUE\_NAME,false,false,false,null); // 发送消息 String message = "hello\_world"; /\*\* \* 1.发送到那个交换机 \* 2.路由的key值 队列名称 \* 3.其他参数 \* 4.发送消息的消息体 \*/ channel.basicPublish("",QUEUE\_NAME,null,message.getBytes()); System.out.println("消息发送完毕"); channel.close(); connection.close(); } }
测试运行,进入后台管理页面,名为hello
的队列中总共有一条消息,且已经准备好等待消费!接下来编写消费者代码进行消费消息数据。
3.消费者
public class Consumer { public static final String QUEUE_NAME = "hello"; public static void main(String[] args) throws IOException, TimeoutException { // 创建连接工厂 ConnectionFactory factory = new ConnectionFactory(); // 工厂IP factory.setHost("xxx.xxx.xxx.xxx"); // 用户名 factory.setUsername("admin"); factory.setPassword("123"); Connection connection = factory.newConnection(); Channel channel = connection.createChannel(); // 消费消息 // 声明 接收消息 DeliverCallback deliverCallback = (consumerTag, message) ->{ System.out.println(new String(message.getBody())); }; // 取消消息回调 CancelCallback cancelCallback = consumerTag ->{ System.out.println("消息消费中断"); }; /** * 1.消费那个队列 * 2.消费成功之后是否要自动应答 true 自动应答 false 手动应答 * 3.消费者未成功消费的回调 * 4.消费者取消消费的回调 **/ channel.basicConsume(QUEUE_NAME,true,deliverCallback,cancelCallback); } }
测试运行,进入后台管理页面,队列中的消息数据已经被成功消费。
至此,简单工作模式一次完整的通信就完成啦。
工作队列的主要思想是避免立即执行资源密集型任务,而不得不等待它完成。相反我们安排任务在之后执行。我们把任务封装为消息并将其发送到队列。在后台运行的工作进程将弹出任务并最终执行作业。当有多个工作线程时,这些工作线程将一起处理这些任务。
换句话说:生产者发送大量的消息数据到MQ,此时造成很多数据堆积在队列中无法及时处理,若消费者仅仅只有一个工作线程时,无法及时的处理接受大量的消息,一个一个处理效率太低,此时需要多个工作线程同时去处理消息数据,提高处理消息的效率。
注意:生产者发出的消息只能被消费者处理一次,不能处理多次。
消费者多个工作线程处理消息数据时,当其中一个工作线程在处理其中一条消息数据时,其他工作线程不能在处理这条消息,而是处理其他消息数据,最终实现一条消息数据只能被一个工作线程所消费,避免处理多次造成数据重复消费。多个工作线程之间是彼此竞争的,当其中一个工作线程抢到消息,其他的工作线程就无法抢到该消息数据。
在简单模式的代码环境基础上,编写轮训的方式,由于创建工厂建立通道的代码都是一样的,接下来将其抽取为工具类。
1.抽取工具类
public class RabbitMQUtils {
public static Channel getChannel() throws Exception{
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("xxx.xxx.xxx.xxx");
factory.setUsername("admin");
factory.setPassword("123");
Connection connection = factory.newConnection();
Channel channel = connection.createChannel();
return channel;
}
}
2.生产者
public class Producer{ public static final String QUEUE\_NAME = "hello"; public static void main(String[] args) throws Exception { Channel channel = RabbitMQUtils.getChannel(); // 队列声明 channel.queueDeclare(QUEUE\_NAME,false,false,false,null); Scanner input = new Scanner(System.in); while (input.hasNext()){ String message = input.next(); channel.basicPublish("",QUEUE\_NAME,null,message.getBytes()); System.out.println("消息发送完成:"+message); } } }
3.工作线程(消费者)
public class Work { public static final String QUEUE\_NAME = "hello"; public static void main(String[] args) throws Exception { Channel channel = RabbitMQUtils.getChannel(); // 声明 接收消息 DeliverCallback deliverCallback = (consumerTag, message) -> { System.out.println("接收到的消息:" + new String(message.getBody())); }; // 取消消息回调 CancelCallback cancelCallback = consumerTag -> { System.out.println(consumerTag + "消息消费取消"); }; System.out.println("C1等待接收消息......"); channel.basicConsume(QUEUE\_NAME, true, deliverCallback, cancelCallback); } }
启动两个工作线程接收消息,模拟轮询方式,由于代码是一样的,使用IDEA自带工具,模拟两个工作线程。
启动两个工作线程接收消息。
4.测试一下
生产者发送消息:
查看是否接收成功
两个工作线程分别接收到了消息数据,而且是分别处理其中一条数据,满足轮训处理数据机制,本次通信模拟成功。
消费者完成一个任务可能需要一段时间,如果其中一个消费者处理一个长的任务并仅只完成了部分突然它挂掉了,会发生什么情况。RabbitMQ 一旦向消费者传递了一条消息,便立即将该消息标记为删除。在这种情况下,突然有个消费者挂掉了,我们将丢失正在处理的消息。以及后续发送给该消费这的消息,因为它无法接收到。为了保证消息在发送过程中不丢失,rabbitmq 引入消息应答机制。
消息应答就是:消费者在接收到消息并且处理该消息之后,告诉 rabbitmq 它已经处理了,rabbitmq 可以把该消息删除了。
自动应答
消息发送后立即被认为已经传送成功,这种模式需要在高吞吐量和数据传输安全性方面做权衡,因为这种模式如果消息在接收到之前,消费者那边出现连接或者 channel 关闭,那么消息就丢失了,当然另一方面这种模式消费者那边可以传递过载的消息,没有对传递的消息数量进行限制,当然这样有可能使得消费者这边由于接收太多还来不及处理的消息,导致这些消息的积压,最终使得内存耗尽,最终这些消费者线程被操作系统杀死,所以这种模式仅适用在消费者可以高效并以某种速率能够处理这些消息的情况下使用。
换句话说:自动应答强依赖于一个良好的环境,它只要接到消息,立即就会给队列反馈完成,实际上它并没有处理完成,以接收到消息为准,虽然应答成功但是在后续处理中可能会存在问题,这种方式不可取,后续使用较少。
手动应答
手动应答的好处是可以批量应答并且减少网络拥堵。
手动应答方法:
void basicAck(long deliveryTag, boolean multiple) throws IOException;
肯定确认,MQ 已知道该消息并且成功的处理消息,可以将其丢弃了void basicNack(long deliveryTag, boolean multiple, boolean requeue) throws IOException;
否定确认void basicReject(long deliveryTag, boolean requeue) throws IOException;
否定确认,不处理该消息了直接拒绝,可以将其丢弃了
multiple
参数的解释:
true 表示批量应答
如说 channel 上有传送 tag 的消息 5,6,7,8 当前 tag 是 8 那么此时5-8 的这些还未应答的消息都会被确认收到消息应答
false 表示不批量应答
只会应答 tag=8 的消息 5,6,7 这三个消息依然不会被确认收到消息应答
在实际开发中推荐不批量应答消息,如果批量应答时,在处理消息7或者6时,突然宕机消息处理不完整会导致消息丢失。
消息自动重新入队
如果消费者由于某些原因失去连接(其通道已关闭,连接已关闭或 TCP 连接丢失),导致消息未发送 ACK 确认RabbitMQ 将了解到消息未完全处理,并将对其重新排队。如果此时其他消费者可以处理,它将很快将其重新分发给另一个消费者。这样,即使某个消费者偶尔死亡,也可以确保不会丢失任何消息。
消息手动应答代码实现:消息在手动应答时是不丢失的,放回队列重新消费。
1.生产者
public class Producer{ public static final String TASK\_QUEUE\_NAME = "ack\_queue"; public static void main(String[] args) throws Exception { Channel channel = RabbitMQUtils.getChannel(); // 声明队列 channel.queueDeclare(TASK\_QUEUE\_NAME,false,false,false,null); Scanner input = new Scanner(System.in); while (input.hasNext()){ String message = input.next(); channel.basicPublish("",TASK\_QUEUE\_NAME,null,message.getBytes()); System.out.println("消息发送完成:"+message); } } }
2.消费者
public class Work01 { public static final String TASK\_QUEUE\_NAME = "ack\_queue"; public static void main(String[] args) throws Exception { Channel channel = RabbitMQUtils.getChannel(); System.out.println("C1等待消息处理,时间较短"); DeliverCallback deliverCallback =( consumerTag, message) ->{ // 沉睡1 秒 try { Thread.sleep(1\*1000); System.out.println("接收到的消息:"+new String(message.getBody())); // 手动应答 /\*\* \* 1.消息标识 tag \* 2.是否批量应答 \*\*/ channel.basicAck(message.getEnvelope().getDeliveryTag(),false); } catch (InterruptedException e) { e.printStackTrace(); } }; // 手动应答 boolean autoAck = false; channel.basicConsume(TASK\_QUEUE\_NAME, autoAck,deliverCallback,(consumerTag ->{ System.out.println(consumerTag+"消费者取消消费"); })); } }
public class Work02 { public static final String TASK\_QUEUE\_NAME = "ack\_queue"; public static void main(String[] args) throws Exception { Channel channel = RabbitMQUtils.getChannel(); System.out.println("C2等待消息处理,时间较长"); DeliverCallback deliverCallback =( consumerTag, message) ->{ // 沉睡30秒 try { Thread.sleep(30\*1000); System.out.println("接收到的消息:"+new String(message.getBody())); // 手动应答 /\*\* \* 1.消息标识 tag \* 2.是否批量应答 \*\*/ channel.basicAck(message.getEnvelope().getDeliveryTag(),false); } catch (InterruptedException e) { e.printStackTrace(); } }; // 手动应答 boolean autoAck = false; channel.basicConsume(TASK\_QUEUE\_NAME, autoAck,deliverCallback,(consumerTag ->{ System.out.println(consumerTag+"消费者取消消费"); })); } }
3.测试
① 启动生产者发送消息
C1消费者等待一秒接收到消息
C2消费者等待30秒接收到消息
② 生产者继续发送两条消息,此时让C2处于宕机状态
C1处理了两条消息,由于C2宕机,消息重新入队,避免消息丢失!
刚刚我们已经看到了如何处理任务不丢失的情况,但是如何保障当 RabbitMQ 服务停掉以后消息生产者发送过来的消息不丢失。默认情况下 RabbitMQ 退出或由于某种原因崩溃时,它忽视队列和消息,除非告知它不要这样做。确保消息不会丢失需要做两件事:我们需要将队列和消息都标记为持久化。
队列如何实现持久化
将durable
参数设置为true
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
843b.png)
刚刚我们已经看到了如何处理任务不丢失的情况,但是如何保障当 RabbitMQ 服务停掉以后消息生产者发送过来的消息不丢失。默认情况下 RabbitMQ 退出或由于某种原因崩溃时,它忽视队列和消息,除非告知它不要这样做。确保消息不会丢失需要做两件事:我们需要将队列和消息都标记为持久化。
队列如何实现持久化
将durable
参数设置为true
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-VaKxUn0Q-1713414528692)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。