搭建大型分布式服务（四十二）SpringBoot 无代码侵入实现多Kafka数据源整合插件发布_springboot 多kafka

系列文章目录

---

---

前言

在分布式服务的架构演进中，消息队列作为核心组件之一，承载着解耦、异步、削峰填谷等关键职责。Apache Kafka 作为业界广泛使用的分布式流处理平台，因其高吞吐、低延迟的特性被大量应用在各类大数据场景中。然而，随着业务的复杂度不断提升，如何在 SpringBoot 中高效地整合并管理多个 Kafka 数据源，成为了一个值得探讨的问题。

在过去的一段时间里，我们通过系列文章详细阐述了如何在 SpringBoot 中以零代码或极低的代码侵入方式，实现多 Kafka 数据源的整合。从基础的配置到高级特性如 protobuf 支持、Aware 模式以及亿级消息生产者的优化，我们希望通过这些内容帮助开发者更加便捷地应对复杂的业务场景。

今天，我们将这些内容凝练成一个全新的 SpringBoot 插件——MultiKafkaStarter，旨在进一步降低开发者整合多 Kafka 数据源的门槛，提升系统的可维护性和扩展性。

核心特点

• 无代码侵入：通过 SpringBoot 的自动配置机制，无需修改业务代码即可实现多 Kafka 数据源的整合。
• 灵活配置：支持动态配置多个 Kafka 数据源，包括 bootstrap servers、group id、security protocol 等关键参数。
• 全面特性支持：不仅支持基础的消息消费和生产功能，还提供了对 protobuf 序列化/反序列化的支持，以及对 Aware 模式的适配。
• 亿级消息处理：针对高并发场景，提供了包括批量发送、分区策略优化等在内的多项性能优化措施，确保系统能够稳定处理亿级消息量。
• 易用性与可维护性：插件采用模块化的设计思想，易于集成和升级，同时提供了丰富的文档和社区支持

国籍惯例，先上源码：Github源码

MultiKafkaStarter [V2.2]

SpringBoot 零代码方式整合多个kafka数据源，支持任意kafka集群，已封装为一个小模块，集成所有kafka配置，让注意力重新回归业务本身。

一、功能特性

• SpringBoot无编程方式整合多个kafka数据源
• 支持批量消费kafka并对单批次消息根据条件去重
• 支持消费kafka消息类型为pb格式
• 支持任意数量生产者

1、引入最新依赖包，如果找不到依赖包，请到工程目录mvn clean package install执行一下命令。

<dependency>
    <groupId>io.github.vipjoey</groupId>
    <artifactId>multi-kafka-starter</artifactId>
    <version>2.2</version>
</dependency>

1
2
3
4
5
6

二、快速开始（生产端）

2、添加kafka地址等相关配置。

## json消息生产者
spring.kafka.four.enabled=true
spring.kafka.four.producer.count=1 ## 生产者数量，默认为1个
spring.kafka.four.producer.name=fourKafkaSender  ## 设置bean的名称，方便后续引用。如果没有设置，默认值为xxxKafkaSender
spring.kafka.four.producer.bootstrap-servers=${spring.embedded.kafka.brokers} ## 必须设置
spring.kafka.four.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.four.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

## pb 消息生产者
spring.kafka.five.enabled=true
spring.kafka.five.producer.name=fiveKafkaSender
spring.kafka.five.producer.bootstrap-servers=${spring.embedded.kafka.brokers}
spring.kafka.five.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.five.producer.value-serializer=org.apache.kafka.common.serialization.ByteArraySerializer
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

3、根据名称注入生产者MmcKafkaMultiSender，就可以发送kafka消息。

    @Resource(name = "fourKafkaSender")
    private MmcKafkaMultiSender mmcKafkaMultiSender;

    @Resource(name = "fiveKafkaSender")
    private MmcKafkaMultiSender mmcKafkaMultiSender;

    @Resource
    private MmcKafkaOutputContainer mmcKafkaOutputContainer;
    
    // 方式一
    void produceMessage() {

        for (int i = 0; i < 10; i++) {
    
            DemoAwareMsg msg = new DemoAwareMsg();
            msg.setRoutekey("routekey" + i);
            msg.setName("name" + i);
            msg.setTimestamp(System.currentTimeMillis());
        
            String json = JsonUtil.toJsonStr(msg);
        
            mmcKafkaMultiSender.sendStringMessage(topicOne, "aaa", json);
    
    
        }

    }
    
    // 方式二
    void produceMessage() {

            MmcKafkaSender sender = mmcKafkaOutputContainer.getOutputs().get("xxxKafkaSender");

            sender.sendStringMessage(topic, sku.getRoutekey(), message);
    }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

三、快速开始（消费端）

2、添加kafka地址等相关配置。

## topic1的kafka配置
spring.kafka.one.enabled=true
spring.kafka.one.consumer.bootstrapServers=${spring.embedded.kafka.brokers}
spring.kafka.one.topic=mmc-topic-one
spring.kafka.one.group-id=group-consumer-one
spring.kafka.one.processor=你的处理类bean名称（例如：oneProcessor）
spring.kafka.one.dupicate=true   ## 如果为true表示对批次内的kafka消息去重，需要实现MmcKafkaMsg接口，默认为false
spring.kafka.one.consumer.auto-offset-reset=latest
spring.kafka.one.consumer.max-poll-records=10
spring.kafka.one.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.one.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer

## topic2的kafka配置
spring.kafka.two.enabled=true
spring.kafka.two.consumer.bootstrapServers=${spring.embedded.kafka.brokers}
spring.kafka.two.topic=mmc-topic-two
spring.kafka.two.group-id=group-consumer-two
spring.kafka.two.processor=你的处理类bean名称
spring.kafka.two.consumer.auto-offset-reset=latest
spring.kafka.two.consumer.max-poll-records=10
spring.kafka.two.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.two.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer

## protobuf类型的消息的kafka配置
spring.kafka.pb.enabled=true
spring.kafka.pb.consumer.bootstrapServers=${spring.embedded.kafka.brokers}
spring.kafka.pb.topic=mmc-topic-pb
spring.kafka.pb.group-id=group-consumer-pb
spring.kafka.pb.processor=pbProcessor
spring.kafka.pb.consumer.auto-offset-reset=latest
spring.kafka.pb.consumer.max-poll-records=10
spring.kafka.pb.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.pb.consumer.value-deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

3、新建kafka消息对应的实体类，可以选择实现MmcMsgDistinctAware接口，例如

@Data
class DemoMsg implements MmcMsgDistinctAware {

    private String routekey;

    private String name;

    private Long timestamp;

}

如果你配置了spring.kafka.xxx.duplicate=fale，则不需要实现MmcMsgDistinctAware接口。

        PS：如果实现MmcMsgDistinctAware接口，就自动具备了消息去重能力


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

4、新建kafka消息处理类，要求继承MmcKafkaKafkaAbastrctProcessor，然后就可以愉快地编写你的业务逻辑了。

@Slf4j
@Service("oneProcessor") // 你的处理类bean名称，如果没有定义bean名称，那么默认就是首字母缩写的类名称
public class OneProcessor extends MmcKafkaKafkaAbastrctProcessor<DemoMsg> {
    

    @Override
    protected void dealMessage(List<DemoMsg> datas) {

        // 下面开始编写你的业务代码
    }


}

@Slf4j
@Service("pbProcessor")
public class PbProcessor extends MmcKafkaKafkaAbastrctProcessor<DemoMsg> {

    @Override
    protected Stream<DemoMsg> doParseProtobuf(byte[] record) {


        try {

            DemoPb.PbMsg msg = DemoPb.PbMsg.parseFrom(record);
            DemoMsg demo = new DemoMsg();
            BeanUtils.copyProperties(msg, demo);

            return Stream.of(demo);

        } catch (InvalidProtocolBufferException e) {

            log.error("parssPbError", e);
            return Stream.empty();
        }

    }

    @Override
    protected void dealMessage(List<DemoMsg> datas) {

        System.out.println("PBdatas: " + datas);

    }
}


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

四、其它特性

1、支持单次拉取kafka的batch消息里去重，需要实现MmcMsgDistinctAware的getRoutekey()和getTimestamp()方法；如果为false，则不要实现MmcMsgDistinctAware接口。

spring.kafka.xxx.duplicate=true
1

2、支持字符串kafka消息，json是驼峰或者下划线

# 默认为支持驼峰的kafka消息，为ture则支持下划线的消息
spring.kafka.xxx.snakeCase=false
1
2

3、支持pb的kafka消息，需要自行重写父类的doParseProtobuf方法；

    @Override
    protected Stream<DemoMsg> doParseProtobuf(byte[] record) {
    
            try {
    
                DemoMsg msg = new DemoMsg();
                DemoPb.PbMsg pb = DemoPb.PbMsg.parseFrom(record);
                BeanUtils.copyProperties(pb, msg);
        
                return Stream.of(msg);
        
                } catch (InvalidProtocolBufferException e) {
        
                log.error("doParseProtobuf error: {}", e.getMessage());
        
                return Stream.empty();
            }

        }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

4、支持获取kafka的topic、offset属性，注入到实体类中，需要实现MmcMsgKafkaAware接口

@Data
class DemoAwareMsg implements MmcKafkaAware {
    
    private String routekey;

    private String name;

    private Long timestamp;

    private String topic;

    private long offset;

}


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

五、变更记录

• 20240623 v2.2 支持Kafka生产者，并对MultiKafkaConsumerStarter项目重命名为MultiKafkaStarter
• 20240602 v2.1 支持获取kafka消息中topic、offset属性
• 20240602 v2.0 支持protobuf、json格式
• 20240430 v1.1 取消限定符
• 20231111 v1.0 初始化

六、参考文章

• 《搭建大型分布式服务（三十六）SpringBoot 零代码方式整合多个kafka数据源》
• 《搭建大型分布式服务（三十七）SpringBoot 整合多个kafka数据源-取消限定符》
• 《搭建大型分布式服务（三十八）SpringBoot 整合多个kafka数据源-支持protobuf》
• 《搭建大型分布式服务（三十九）SpringBoot 整合多个kafka数据源-支持Aware模式》
• 《搭建大型分布式服务（四十）SpringBoot 整合多个kafka数据源-支持生产者》
• 《搭建大型分布式服务（四十一）SpringBoot 整合多个kafka数据源-支持亿级消息生产者》
• 《搭建大型分布式服务（四十二）SpringBoot 无代码侵入实现多Kafka数据源整合插件发布》
• 《搭建大型分布式服务（四十三）SpringBoot 多Kafka数据源发布到Maven中央仓库：让世界看到你的作品！》

加我加群一起交流学习！更多干货下载、项目源码和大厂内推等着你