赞
踩
先来定义一下何为顺序消息,比如有A、B两条消息,消息处理的流程是 1、2、3 … 10,只有当A消息执行10完毕后,B消息才可以进行1流程。
注:如果A执行到7,B开始执行1,这其实不一定是顺序消息,因为各种原因最终可能导致B先执行完10。
目前比较流行的队列:RocketMQ、RabbitMQ、Kafka
基于消息队列的规则,想要达到我们的目标就要求A、B两个消息先后发送到同一个 queue/partitions,且只能有一个消费者,且消费的时候必须是单线程非异步的才可满足。
三种MQ都支持消息发送到指定的 queue/partition,简单来说就是基于一个标识去计算看它应该落在哪个queue/partition,同一批顺序消息的标识是一样的,所以最终进入的queue/partition也是一致的。 进入 queue/partition 之后的消息都是顺序的,它们是 FIFO的。
顺序消息的控制主要是在消费端,那问题就变成了2个
只有满足一个queue/partition 只能对应一个消费者,一个消费者对于一个queue/partition 是单线程消费的,才可以做到消费顺序。
注:MQ有集群消费和广播消费,顺序消费肯定是建立在集群消费模式下的。
最终结果:RocketMQ和Kafka是支持顺序消息的,RabbitMQ不支持顺序消息。
从上面的图可以看到,一个queue最多只能对一个 consumer,如果某个 topic需要更大的并发,那就需要,那就增加 queue,然后增加 consumer
正常使用SpringBoot开发项目的时候,都是引入 rocketmq-spring-boot-starter,然后用 @RocketMQMessageListener 来做消费处理,所以下面图也是基于这个用法来画的
通过这个图可以看到使用 @RocketMQMessageListener 做消费者的时候,本质上消息是被多线程去消费了,那就存在A、B消息的真正处理顺序不一致了。
RocketMQ的解决办法是,当你设置消费为顺序消费的时候,在消息处理的时候它会基于 queue加锁,这样就只能单线程处理这个queue的消息了。
设置顺序消费的代码
@RocketMQMessageListener(
topic = "Topic1",
consumerGroup = "springboot3_producer_group",
consumeMode = ConsumeMode.ORDERLY
)
Kafka 里面没有queue的概念,转而用partitions,但其本质上queue和partitions是一样的,就把它理解成一个queue完事
partitions 和 consumer的关系和 RocketMQ的一模一样,只是把queue改为partitions即可,就不画了
Kafka的解决办法是,每一个 partitions 最多只有一个线程来消费它,单线程自然就是顺序消费的咯。
注:RabbitMQ的queue和consumer是可以设置为多对多的关系
从上述结果来看其实三种队列都是支持顺序消息的(前提消息都发送到一个 queue/partitions),但支持的程度和结果不同
基于上述分析,三种MQ都可以做到全局有序,因为一旦要求全局有序,消费者就必须是单线程消费。
比如用户订单业务,对于不同的用户它们的消费顺序可以不用关注,但是对于同一个用户的消息必须是严格有序的(简单的如先下单、再支付)。
对于这种场景RabbitMQ基本上就不满足的,它只有一个队列,如果消费者是单线程的会阻塞其它的消息,一定会造成消息积压。
RocketMQ和Kafka在发送消息的时候都可以指定一个queue/partitions(发消息的时候指定一个key,通过key的hash找一个queue,相同的key得到的就是同一个queue)。
消息可能重复消费这个和顺序消息没关系,所以在写消费逻辑的时候应该做幂等。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。