kafka依赖_【收藏】 Kafka监控组件大全

作者：寸_铁 | 2024-08-06 11:43:03

踩

kafka manager依赖服务

本文使用Burrow和Telegraf搭建Kafka的监控体系。然后，简单介绍一下其他的，比如Kafka Manager，Kafka Eagle，Confluent Control Center等。

如果你对kafka比较陌生，请参考：Kafka基础知识索引

Burrow

依赖路径

使用Burrow拉取kafka的监控信息，然后通过telegraf进行收集，最后写入到influxdb中。使用grafana进行展示。

安装

从github下载二进制文件解压即可。

Burrow是Kafka社区committer亲自编写的，能够监控消费端端情况。不过没有UI界面，开发语言使用的是Go。此项目活跃度不是很高，但已经够用了。

主要的配置文件

burrow可以支持同时获取多个集群的信息，比如，我有两个集群 dm和 databus，那么我的配置文件就可以是下面这样。


[general]
 
pidfile="burrow.pid"
 
stdout-logfile="burrow.out"
 
access-control-allow-origin="mysite.example.com"
 
[logging]
 
filename="logs/burrow.log"
 
level="info"
 
maxsize=100
 
maxbackups=30
 
maxage=10
 
use-localtime=false
 
use-compression=true
 
[zookeeper]
 
servers=[ "192.168.54.159:2181"]
 
timeout=6
 
root-path="/burrow"
 
[client-profile.databus]
 
client-id="burrow-databus"
 
kafka-version="0.10.0"
 
[cluster.databus]
 
class-name="kafka"
 
servers=[ "192.168.86.57:9092","192.168.128.158:9092" ]
 
client-profile="databus"
 
topic-refresh=120
 
offset-refresh=30
 
[consumer.databus]
 
class-name="kafka"
 
cluster="databus"
 
servers=[ "192.168.86.57:9092","192.168.128.158:9092" ]
 
client-profile="databus"
 
group-blacklist="^(console-consumer-|python-kafka-consumer-|quick-).*$"
 
group-whitelist=""
 
[client-profile.dm]
 
client-id="burrow-dm"
 
kafka-version="0.10.0"
 
[cluster.dm]
 
class-name="kafka"
 
servers=[ "192.168.204.156:9092","192.168.87.50:9092" ]
 
client-profile="dm"
 
topic-refresh=120
 
offset-refresh=30
 
[consumer.dm]
 
class-name="kafka"
 
cluster="dm"
 
servers=[ "192.168.204.156:9092","192.168.87.50:9092" ]
 
client-profile="databus"
 
group-blacklist="^(console-consumer-|python-kafka-consumer-|quick-).*$"
 
group-whitelist=""
 
[httpserver.default]
 
address=":8000"
 
[storage.default]
 
class-name="inmemory"
 
workers=20
 
intervals=15
 
expire-group=604800
 
min-distance=1