聊聊Kafka如何基于JMX监控_jmx 监控kafka3.20

这里是weihubeats,觉得文章不错可以关注公众号小奏技术，文章首发。拒绝营销号，拒绝标题党

Kafka version

• kafka_2.13-3.5.0

Kafka 监控

Kafka自带JMX监控

JMX我们不用过多介绍，如果你用过Spring Boot Actuator就算用过JMX，Spring Boot Actuator的实现就是基于JMX

Kafka如何开启JMX监控

之前我们在Linux Kafka 3.5 KRaft模式集群部署
中的启动脚本是如下方式:

export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"&&nohup sh /data/kafka_2.13-3.5.0/bin/kafka-server-start.sh /data/kafka_2.13-3.5.0/config/kraft/server.properties &
1

要开启JMX我们只需添加如下参数

JMX_PORT=9988
1

端口我们自己指定就行

所以我们的脚本就变成了

export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"&&JMX_PORT=9988 nohup sh /data/kafka_2.13-3.5.0/bin/kafka-server-start.sh /data/kafka_2.13-3.5.0/config/kraft/server.properties &
1

监控指标

如果不自定义一些JMX里面的MBean，自带的监控指标属实很少，我们可以看看kafka支持那些JMX的监控指标

这里我们直接看官网就行

• https://kafka.apache.org/documentation/#remote_jmx

可以看到支持的监控指标非常丰富，基本需要监控的指标都有了
总得是这些

• KRaft Monitoring
• Selector Monitoring
• Common Node Monitoring
• Producer Monitoring
• Consumer Monitoring
• Connect Monitoring
• Streams Monitoring
• Others

原理分析

之前我们使用过VisualVM分析java项目的时候就要开启JMX
一般java应用要开启JMX就需要添加如下启动参数

-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=8777
-Dcom.sun.management.jmxremote.rmi.port=8777
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false
1
2
3
4
5

详细内容可以参考我之前的博文

• https://weihubeats.blog.csdn.net/article/details/132354879

所以我们来看看为什么kafka的启动脚本为什么加了JMX_PORT=9988就可以了

我们打开kafka-run-class.sh的启动脚本就会发现如下内容

可以看到我们添加了$JMX_PORT参数后kafka会给我添加如下启动参数

-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false 
-Dcom.sun.management.jmxremote.port=$JMX_PORT
-Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT
1
2
3
4
5

如何定制JMX的监控

JMX本身就可以自定义各种MBean来暴露监控

一般来说我们要自定义JMX的MBean就需要如下方式

public static void main(String[] args) throws Exception {
        MBeanServer server = ManagementFactory.getPlatformMBeanServer();
        ObjectName userName = new ObjectName("FengZheng:type=customer,name=customerUserBean");
        server.registerMBean(new User(), userName);
  
        try {
            //这个步骤很重要，注册一个端口，绑定url后用于客户端通过rmi方式连接JMXConnectorServer
            LocateRegistry.createRegistry(8999);
            //URL路径的结尾可以随意指定，但如果需要用Jconsole来进行连接，则必须使用jmxrmi
            JMXServiceURL url = new JMXServiceURL
                    ("service:jmx:rmi:///jndi/rmi://localhost:8999/jmxrmi");
            JMXConnectorServer jcs = JMXConnectorServerFactory.newJMXConnectorServer(url, null, server);
            System.out.println("begin rmi start");
            jcs.start();
            System.out.println("rmi start");
        } catch (RemoteException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        Thread.sleep(60 * 60 * 1000);
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

代码来源 https://juejin.cn/post/6856949531003748365#heading-13

主要是调用MBeanServer的registerMBean

这里我们可以看看Kafka的源码

Kafka的源码对这一块进行了封装。因为Kafka支持多种监控方式

目前看源码MetricsReporter的主要实现类有两个

• JmxReporter
• PushHttpMetricsReporter

总结

总的来说kafka的监控支持有两种一种是Jmx，一种是http.各种需要监控的指标也是应有尽有，非常齐全。