Prometheus实战教程：监控Kafka消息_prometheus监控kafka

今天我们使用prometheus+Grafana+kafka_exporter+kafka实现监控Kafka运行状态。

kafka_exporter：采集kafka各项指标数据

prometheus：获取kafka_exporter数据

Grafana：展示prometheus采集的数据

如何使用prometheus和Grafana监控Kafka运行状态呢，请君继续往下看。

一、Kafka简介

（1）Kafka基本概念

       Kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。

（2）Kafka的特性

• 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒
• 可扩展性：kafka集群支持热扩展
• 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失
• 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）
• 高并发：支持数千个客户端同时读写

（3）Kafka场景应用

• 日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。
• 消息系统：解耦和生产者和消费者、缓存消息等。
• 用户活动跟踪：Kafka经常被用