Prometheus监控Kafka（三种方法JMX Kafka_exporter KMINION监控Kafka）_kafka exporter_promethus 监控 kafka 常见的两种方式

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

1. 下载jmx程序包。
2. 修改kafka启动参数
3. 重启kafka
4. 访问JMX-Agent端口验证监控指标
5. 5.修改配置文件，并重启Prometheus
6. 访问Prometheus，验证target是否监控成功。
7. 配置Grafana：导入模板、配置数据源、查看监控数据。

1.下载jmx程序包

使用阿里云提供的jmx-agent包，比较稳定靠谱，就不故意选择最新版本了。
下载链接：【阿里云JMX-Agent下载】
下载后需传输到kafka所在服务器上，如：

[sysma@kafka-0001 jmx_agent]$ ls
kafka-jmx_prometheus_javaagent-1.18.1.jar
[sysma@kafka-0001 jmx_agent]$ pwd
/ilw/jmx_agent
[sysma@kafka-0001 jmx_agent]$ 

1
2
3
4
5
6

2.修改kafka启动参数。

修改kafka启动脚本的配置参数，可参考阿里云【阿里云官方文档：如何部署和配置Kafka JMX Agent】
也可参考我的示例文件，对比阿里云文档截图，我的示例文件更为简单直观：

在EXTRA_ARGS=${EXTRA_ARGS-'-name kafkaServer -loggc '}这一行之后，新增JMX-agent内容-javaagent:/ilw/jmx_agent/kafka-jmx_prometheus_javaagent-1.18.1.jar=5506，目的是下次启动kafka进程的同时，运行一个jmx-agent并指定agent的端口。

完整示例文件如下：

[sysma@kafka-0001 bin]$ pwd
/ilw/kafka_2.12-3.5.0/bin
[sysma@kafka-0001 bin]$ cat kafka-server-start.sh 
#!/bin/bash
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

if [ $# -lt 1 ];
then
	echo "USAGE: $0 [-daemon] server.properties [--override property=value]\*"
	exit 1
fi
base\_dir=$(dirname $0)

if [ "x$KAFKA\_LOG4J\_OPTS" = "x" ]; then
    export KAFKA\_LOG4J\_OPTS="-Dlog4j.configuration=file:$base\_dir/../config/log4j.properties"
fi

if [ "x$KAFKA\_HEAP\_OPTS" = "x" ]; then
    export KAFKA\_HEAP\_OPTS="-Xmx1G -Xms1G"
fi

##修改前，默认配置如下
#EXTRA\_ARGS=${EXTRA\_ARGS-'-name kafkaServer -loggc'}

#修改后，在下一行新增jmx-agent的路径位置，指定jmx暴露端口。
EXTRA\_ARGS=${EXTRA\_ARGS-'-name kafkaServer -loggc -javaagent:/ilw/jmx\_agent/kafka-jmx\_prometheus\_javaagent-1.18.1.jar=5506'} 

COMMAND=$1
case $COMMAND in
  -daemon)
    EXTRA\_ARGS="-daemon "$EXTRA\_ARGS
    shift
    ;;
  *)
    ;;
esac

exec $base\_dir/kafka-run-class.sh $EXTRA\_ARGS kafka.Kafka "$@"
[sysma@kafka-0001 bin]$ 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

3.重启kafka

启动和停止kafka的脚本如下，也可直接复制命令执行：

[sysma@kafka-0001 ilw]$ cat 03_startKFK-3.5.0.sh 
sudo /ilw/kafka_2.12-3.5.0/bin/kafka-server-start.sh /ilw/kafka_2.12-3.5.0/config/server.properties &
[sysma@kafka-0001 ilw]$ cat 04_stopKFK-3.5.0.sh 
sudo /ilw/kafka_2.12-3.5.0/bin/kafka-server-stop.sh /ilw/kafka_2.12-3.5.0/config/server.properties

1
2
3
4
5

4.访问JMX-Agent端口验证监控指标

配置文件中指定了jmx-agent端口为5506。在开放防火墙策略、保证kafka重启成功后，可通过web访问查看相关的监控指标，如下图：

5.修改配置文件，并重启Prometheus

修改配置文件并重启Prometheus

sudo vim prometheus.yml 
curl -X POST http://127.0.0.1:9091/-/reload

1
2
3

使用curl命令重启prometheus的前提是：首次启动Prometheus时，就启用web.enable-lifecycle功能，具体启动命令如下：

#使用sudo权限，后台执行Prometheus启动命令，并启用lifecycle功能，指定监听端口为9091
sudo nohup ./prometheus --web.enable-lifecycle --web.listen-address=:9091 &

1
2
3

修改内容如下：

6.访问Prometheus，验证target是否监控成功。

7.配置Grafana：导入模板、配置数据源、查看监控数据。

下载dashboard模板，配合jmx-agent使用时，建议使用11962号模板。【Grafana官方：11962号模板下载地址】

导入模板，上传json文件。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中…(img-1Eu6Wazv-1713316975893)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！