kafka监控：Prometheus+Grafana+kafka_exporter_grafana配置kafka

现在感觉更喜欢和别人交流探讨，而不是闭门造车

引言

目前kafka使用越来越频繁，集群压力也越来越大，做好对kafka的监控对下一步工作至关重要，除此之外也要结合KafkaCenter进行kafka管理，KafkaCenter中的group-offset管理非常友好，感兴趣的弄个docker玩一玩

搭建

kafka测试集群：192.168.66.113；192.168.66.114；192.168.66.115
监控机器：192.168.66.116

1、kafka_exporter安装

使用jmx_prometheus_javaagent收集kafka指标，并将这些指标放在9991端口中

1）在kafka目录下创建文件夹：mkdir kafka_exporter

2）进入目录kafka_exporter，下载：

wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.6/jmx_prometheus_javaagent-0.6.jar
wget https://raw.githubusercontent.com/prometheus/jmx_exporter/master/example_configs/kafka-0-8-2.yml
1
2

3）修改kafka的bin目录中的kafka-server-start.sh，添加内容：

export JMX_PORT="9999"
export KAFKA_OPTS="-javaagent:/home/kafka/kafka_exporter/jmx_prometheus_javaagent-0.6.jar=9991:/home/kafka/kafka_exporter/kafka-0-8-2.yml"
1
2

4)重启kafka,打开 http://192.168.66.113:9991/metrics ，查看抓取的指标

5)另外的kafka(114,115)机器进行安装

2、Prometheus安装使用

Prometheus会去9991端口上定时的抓取相关的指标并存储

1）在其他机器(116)上安装Prometheus

下载 wget https://github.com/prometheus/prometheus/releases/download/v2.8.1/prometheus-2.8.1.linux-amd64.tar.gz
解压 tar -zxvf prometheus-2.8.1.linux-amd64.tar.gz
1
2

2)配置prometheus.yml，添加一下内容

- job_name: 'kafka01'
static_configs:
- targets: ['192.168.66.113:9991']

- job_name: 'kafka02'
static_configs:
- targets: ['192.168.66.114:9991']

- job_name: 'kafka03'
static_configs:
- targets: ['192.168.66.115:9991']
1
2
3
4
5
6
7
8
9
10
11

注：也可以根据需求调整抓取时间，默认是15s

3)运行Prometheus

nohup ./prometheus &

打开 http://192.168.66.116:9090/targets，查看数据抓取情况

注：关闭Prometheus
pgrep -f prometheus
kill -TERM 进程号

3、Grafana监控配置

使用6.x版本的Grafana进行监控

配置数据源

导入Kafka Dashboard模版，根据自己的需求进行相应的更改展示指标
http://192.168.66.115:3000