kafka一直触发rebalance（springboot篇）_kafka一直rebalance

前言

kafka是我们使用的比较多的一个消息队列，在spring中也有现成的集成，只需引入依赖添加配置即可使用，而我们的项目中就是使用了kafka，就因为一段小小的代码，引起了一直触发rebalance导致游标一直不动，下面，直接进入场景。

业务场景

这里就是一个很简单的业务，用户提交信息，后台审核，成功后推送kafka消息，然后由消费者去消费。

出现问题

1、数据库拿不到数据

在消费者收到消息后，会去数据库查询，确认数据是否正确，如果核对通过，才会进行下一步写入操作。
然而一个偶然的机会，发现很多消息没有推送，就很纳闷，在排查问题的时候，就发现了，偶尔会出现消费者去查询时，居然没有查询到数据，但是手动查询数据库时，发现数据确实存在，初步断定是数据库还没有落库（事务），消费者就去查询，没有拿到，于是加了如下代码

 		try {
            TimeUnit.SECONDS.sleep(3);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        }
1
2
3
4
5

拿到消息，先停3秒再去操作，问题解决，能够正确的运行了。
但是，过了不多久，又出现了第二个问题

2、一直触发rebalance

我只能说，这也是我第一次用kafka消费者的时候，让当前线程sleep。也没有意识到会出现什么问题，于是乎，某天消费者游标不动了！或者说是，游标移动极其缓慢。
在运维的帮助下，拿到了kafka的日志，好家伙，一直触发rebalance，怪不得游标不动了！
找了半天，并没有发现日志有报错信息，于是在官网和源码的支撑下，我把目标定位在了新加的sleep上，找到了如下两个配置

//  默认值 500
max.poll.records
// 默认值 300
max.poll.interval.ms
1
2
3
4

这两个的默认值的意思就是 300s之内没有消费完500条消息，就执行超时回滚（rebalance）

解决方案

既然找到了问题所在，那肯定就需要方案了，我们商讨出了

• 降低max.poll.records
• 异步线程处理
  最终我们决定使用异步线程处理，因为写入消息这个操作一定会成功的，并且这样也不会让消息堆积太多，如果降低配置来处理，如果在消息峰值，kafka里面的消息增长就会很快。