当前位置:   article > 正文

rocketmq面对消息积压的处理_rocketmq消息堆积解决方案

rocketmq消息堆积解决方案

1.观察消费者延迟消息堆积情况
在这里插入图片描述
2.查看单条消息的处理时间,查看启动的实例数,预估下每秒处理数据量
3.适当增加broker的读写队列数,防止,某一broker单条消息堆积引起队列消息总体延迟的情况
在这里插入图片描述
4.增加服务实例数量,提高消费能力
5.参数解释:Topic配置中perm的含义?
设置该 Topic 的读写模式
在这里插入图片描述
6.扩展:

划个重点:RocketMQ是按照队列进行消息负载的,如果consumer中的一台机器由于机器硬件、系统、远程RPC或者JavaGC等原因导致该机器上的消息队列不能及时处理,整个消息队列的消息都会堆积。

发布方消息负载均衡策略
消息队列RocketMQ 版针对生产者采取的是轮询制,即 Producer 的消息以轮询的方式发送至 消息队列(Queue);
订阅方消息负载均衡策略
消息队列 RocketMQ 版 Broker 会将这些 Queue 再平均分配至属于同一个 Group ID 的订阅方集群。

1.如果消费者consumer机器数量和消息队列相等,则消息队列平均分配到每一个consumer上。
在这里插入图片描述

2.如果consumer数量大于消息队列数量,则超出消息队列数量的机器没有可以处理的消息队列。

在这里插入图片描述

3.若消息队列数量不是consumer的整数倍,则部分consumer会承担跟多的消息队列的消费任务。

在这里插入图片描述

如果其中一台机器处理变慢,可能是机器硬件、系统、远程 RPC 调用或 Java GC 等原因导致分配至此机器上的 Queue 的消息不能及时处理;此外,消息队列 RocketMQ 版的消息负载是按 Queue 为粒度维护,所以,整个 Queue 上的消息都会堆积。
参考博客:RocketMQ常见问题-RocketMQ消息堆积问题-TOPIC队列扩容

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Cpp五条/article/detail/712546
推荐阅读
相关标签
  

闽ICP备14008679号