当前位置:   article > 正文

一站式Kafka监控管理平台KafkaCenter

kafkacenter

目录

KafkaCenter是什么?

KafkaCenter 解决了什么问题

我们面临的问题

Kafka Center解决了哪些问题

功能模块介绍

使用操作步骤

使用创建的test用户登录系统


  最近在做kafka监控管理的插件调研,今天主要是写一下优秀的开源插件之KafkaCenter,功能强大,git地址在文末。

kafka管理平台相关推荐:滴滴开源软件:kafka-manager之功能强大适合运维的的滴滴开源插件kafkamanager_大数据 从业者~-CSDN博客

一张图总览一下kafkaCenter

KafkaCenter是什么?

KafkaCenter是Kafka 集群管理和维护,生产/消费监控,生态组件使用的统一一站式平台。

KafkaCenter 解决了什么问题

在给大家说我们解决什么问题之前,先说说在没有KafkaCenter之前我们的面临的问题。

我们面临的问题

  • 创建topic,人工处理化
  • 相关kafka运维,监控孤岛化
  • 现有消费监控工具监控不准确
  • 无法拿到Kafka 集群的summay信息
  • 无法快速知晓集群健康状态
  • 无法知晓业务对team kafka使用情况
  • kafka管理,监控工具稀少,没有一个好的工具我们直接可以使用
  • 无法快速查询topic消息

    Kafka Center解决了哪些问题

  • 统一: 一个平台,一站式包含自助,管理,监控,运维,使用一体化。
  • 流程化: 创建topic流程化,做到对topic使用全生命周期管理。
  • 复用: 平台支持接入多个集群,复用性很高。
  • 成本: 只用部署一套程序,节省机器资源。降低运维成本,高效运维。
  • 生态: 目前已经接入connect,ksql。
  • 便捷: 提供便捷工具,让无需有kafka使用经验的人,都可以方便生产、消费消息。
  • 全局: 可以站在不同的维度查看目前kafka使用情况
  • 权限: 完善的权限设计,减少风险漏洞。

功能模块介绍

  • Home->
    查看平台管理的Kafka Cluster集群信息及监控信息
  • Topic->
    用户可以在此模块查看自己的Topic,发起申请新建Topic,同时可以对Topic进行生产消费测试。
  • Monitor->
    用户可以在此模块中可以查看Topic的生产以及消费情况,同时可以针对消费延迟情况设置预警信息。
  • Kafka Connect->
    实现用户快速创建自己的Connect Job,并对自己的Connect进行维护。
  • KSQL->
    实现用户快速创建自己的KSQL Job,并对自己的Job进行维护。
  • Approve->
    此模块主要用于当普通用户申请创建Topic,管理员进行审批操作。
  • Setting->
    此模块主要功能为管理员维护User、Team以及kafka cluster信息
  • Kafka Manager->
    此模块用于管理员对集群的正常维护操作。

使用操作步骤

  1. 使用系统配置用户admin/admin登陆系统

2. 登录系统后进入Kafka Manager -> Cluster,点击Add New Cluster根据提示填写集群信息

3. 进入Setting -> User,点击Add User为系统添加用户(test和testAdmin),test用户角色为Member,testAdmin用户角色为Admin

Important:除系统自带admin账户之外,必须创建一个角色为admin的账户,否则系统中涉及给管理员发邮件的地方都会报错(eg:创建task) 

4. 添加用户成功之后,进入Setting -> Team,点击New Team,填写team名称(test_team)

5. 添加team成功之后,点击team Operation中的addUser按钮,选择刚才添加好的user,点击Add User To Team将用户添加到team中

6. 点击右上角图像选择logout退出系统

使用创建的test用户登录系统

1. 使用上述创建的用户(test)登录系统

2. 创建topic

  • 进入Topic -> My Task,点击Create Topic Task,根据提示填写topic信息,创建topic(topic_test),系统会发送提醒邮件至管理员处
  •  

  • 退出系统,使用testAdmin账户登录系统
  • 进入Approve,选择提交的Topic(topic_test),点击check,选择需要创建的集群,点击Approve。

  • topic创建成功之后,系统会发送创建成功邮件至用户test

3. 生产消息

  • topic创建成功之后,进入Topic -> Topic List,选择创建的topic(topic_test)选择mock操作

  • 填写message的key和value,点击Send,右边提示PRODUCER TOPIC SUCCESS,生产成功

4. 监控生产状况

  • topic(topic_test)消息生产成功之后,进入Monitor -> Producer
  • 点击topic(topic_test),进入生产监控信息,显示生产的速率

5. 消费消息

Important:如果不选择Commit The Record Consumed的话,在consumer中查看不到消费信息

  • 进入Topic -> Queries
  • 选择cluster和topic name,选择Commit The Record Consumed,点击Query
  • 消费成功后,右边显示消费到的消息

  • 选择Consumer Topic By Offset,选择partition,填写offset,点击Query(指定partition进行消费)
  • 消费成功后,右边显示消费到的消息

6. 监控消费

  • 进入Monitor -> Consumer,选择Topic,选择topic(topic_test),查看消费组消费状态

点击消费组后面的alert,为group组添加alert监控,当lag达到配置的值时,系统将发邮件

点击上面消费使用的消费组,查看消费lag图

可以选择的时间间隔为,5分钟、10分钟、30分钟、1小时、6小时、12小时、1天、7天,

还可以自定义范围

kafkaCenter-git地址:GitHub - xaecbd/KafkaCenter: KafkaCenter is a unified platform for Kafka cluster management and maintenance, producer / consumer monitoring, and use of ecological components.

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/715213
推荐阅读
相关标签
  

闽ICP备14008679号