kafka 线上消费积压问题

作者：从前慢现在也慢 | 2024-05-06 08:49:14

踩

kafka 线上消费积压问题

线上kafka 流量大，消费小于生产，如何处理？

可以增加consumer的消费者，不过这个只能在一定程序上缓解，如果consumer 数量超过partition 数，那有的就会空转，解决不了问题，这种在线上直接扩容后端即可

在上面的基础上，可以把一个topic通过其它的方案，打散到多个分区，比如A topic 3个分区，通过flink 打散到新的topic 9个分区，然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活，效率高

在增加consumer这个方案的基础上，可以增加分区数，这个不建议，在线上修改。

比如批量消费，一次多pull 几条，配置要支持动态调整

检查是不是本身消费数据有瓶颈，优化逻辑代码

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/543397