当前位置:   article > 正文

中间件几百万消息持续积压及小时,怎么处理?_线上生产出现消息积压怎么办

线上生产出现消息积压怎么办

一、发生原因

消息积压出现的原因可能是线上故障(消费者故障)导致不能及时消费生产者的消息。

二、解决方法:

1、首先需要修复消费者,保证消费正常运作。(但是由于积压的消息太多,消费完这些积压的消息可能需要好几个小时)

2、临时扩容

比如一个消费者一秒消费1000条消息,假设这里有三个消费者,一秒钟就可以消费3000条消息,一分钟可以消费18万条。三个消费者一小时可以消费1080W条消息。

比如现在有800W消息积压,三个消费者就需要大概40~50分钟才能消费完。

如果业务不能够容忍我们花40~50分钟去处理这些积压消息,那我们就可以使用临时扩容的方式去处理。

 假如这里扩容了30个queue和30个消费者,基本只需要4~5分钟,再加上重新生产消息的时间,10分钟左右就可完成积压消息的消费。完成后再把代码切回到之前的代码即可。

总结:出现消息积压,先修复消费者,然后临时扩容消费者,让扩容后的消费者去消费堆积的消息

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/440196
推荐阅读
相关标签
  

闽ICP备14008679号