devbox
我家自动化
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

用好kafka，你不得不知的那些工具_kafka客户端工具

作者：我家自动化 | 2024-07-12 03:04:20

赞

踩

kafka客户端工具

前言

工欲善其事，必先利其器。本文主要分享一下消息中间件kafka安装部署的过程，以及我平时在工作中针对kafka用的一些客户端工具和监控工具。

kafka部署架构

一个kafka集群由多个kafka broker组成，每个broker将自己的元数据信息注册到zookeeper中，通过zookeeper关联形成一个集群。

prettyZoo客户端

既然kafka依赖zookeeper，我难免就需要看看zookeeper中究竟存储了kafka的哪些数据，这边介绍一款高颜值的客户端工具prettyZoo。PrettyZoo是一款基于Apache Curator 和 JavaFX 实现的 Zookeeper 图形化管理客户端，使用非常简单。

下载地址： https://github.com/vran-dev/PrettyZoo

  • 连接

  • 界面化操作zookeeper

小tips: kafka部署时配置文件中配置zookeeper地址的时候，可以采用如下的方式，带上目录，比如xxxx:2181/kafka或者xxxx:2181/kafka1,可以避免冲突。

  1.  
  2. zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka
  3. fka
  4.

kafka Tool客户端

Kafka Tool是一个用于管理和使用Apache Kafka集群的GUI应用程序。 Kafka Tool提供了一个较为直观的UI可让用户快速查看Kafka集群中的对象以及存储在topic中的消息，提供了一些专门面向开发人员和管理员的功能。

下载地址： https://www.kafkatool.com/index.html

kafka监控工具

kafka 自身并没有继承监控管理系统，因此对 kafka 的监控管理比较不便，好在有大量的第三方监控管理系统来使用，这里介绍一款优秀的监控工具Kafka Eagle，可以用监控 Kafka 集群的整体运行情况。

下载地址：https://www.kafka-eagle.org/，部署也很简单，根据官方文档一步一步来即可。

注意，kafka需要开启JMX端口，即修改kafka的启动命令文件kafka-server-start.sh，如下图：

kafka集群部署

一、zookeeper集群部署

  1. 上传安装包

  2. 移动到指定文件夹

  1. mv zookeeper-3.4.6.tar.gz /opt/apps/
  2.

  1. 解压

  1. tar -zxvf zookeeper-3.4.6.tar.gz
  2.

  1. 修改配置文件

  • 进入配置文件目录

  1. cd /opt/apps/zookeeper-3.4.6/conf
  2.

  • 修改配置文件名称

  1. mv zoo_sample.cfg zoo.cfg
  2.

  • 编辑配置文件 vi zoo.cfg

  1.  
  2. dataDir=/opt/apps/data/zkdata
  3.  
  4. server.1=hadoop1:2888:3888 
  5. server.2=hadoop2:2888:3888 
  6. server.3=hadoop3:2888:3888
  7.

  1. 创建数据目录

  1. mkdir -p /opt/apps/data/zkdata
  2.

  1. 生成一个 myid 文件，内容为它的id, 表示是哪个节点。

  1. echo 1 > /opt/apps/data/zkdata/myid
  2.

  1. 配置环境变量

  1. vi /etc/profile 
  2.  
  3.  
  4. export ZOOKEEPER_HOME=/opt/apps/zookeeper-3.4.6 
  5. export PATH=$PATH:$ZOOKEEPER_HOME/bin 
  6.  
  7. source /etc/profile
  8.

  1. 在其他几个节点，即hadoop2, hadoop3上重复上面的步骤，但是myid文件的内容有所区别，分别是对应的id。

  1. echo 2 > /opt/apps/data/zkdata/myid
  2. echo 3 > /opt/apps/data/zkdata/myid
  3.

  1. 启停集群

  1. bin/zkServer.sh start zk 服务启动 
  2. bin/zkServer.sh status zk 查看服务状态
  3. bin/zkServer.sh stop zk 停止服务
  4.

二、kafka集群部署

  1. 官方下载地址：http://kafka.apache.org/downloads.html

  2. 上传安装包, 移动到指定文件夹

  1. mv kafka_2.11-2.2.2.tgz /opt/apps/
  2.

  1. 解压

  1. tar -zxvf kafka_2.11-2.2.2.tgz
  2.

  1. 修改配置文件

  • 进入配置文件目录

  1. cd /opt/apps/kafka_2.11-2.2.2/config
  2.

  • 编辑配置文件vi server.properties

  1.  
  2. broker.id=0 
  3.  
  4. log.dirs=/opt/apps/data/kafkadata 
  5.  
  6. zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181/kafka
  7.

其他的配置内容说明如下：

  1.  
  2. broker.id=0
  3.  
  4. num.network.threads=3
  5.  
  6. num.io.threads=8
  7.  
  8. socket.send.buffer.bytes=102400
  9.  
  10. socket.receive.buffer.bytes=102400
  11.  
  12. socket.request.max.bytes=104857600
  13.  
  14. 配置多个磁盘路径，路径与路径之间可以用"，"分隔
  15. log.dirs=/opt/module/kafka/datas
  16.  
  17. num.partitions=1
  18.  
  19. num.recovery.threads.per.data.dir=1
  20.  
  21. offsets.topic.replication.factor=1
  22.  
  23. log.retention.hours=168
  24.  
  25. log.segment.bytes=1073741824
  26.  
  27. log.retention.check.interval.ms=300000
  28.  
  29. zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka
  30. fka
  31.

  1. 配置环境变量

  1. vi /etc/profile 
  2.  
  3. export KAFKA_HOME=/opt/apps/kafka_2.11-2.2.2 
  4. export PATH=$PATH:$KAFKA_HOME/bin 
  5.  
  6. source /etc/profile
  7.

  1. 在不同的节点上重复上面的步骤，但是需要修改配置文件server.properties中的broker.id。

  1.  
  2. broker.id=1 
  3. broker.id=2
  4.

  1. 启停集群

  1. bin/kafka-server-start.sh -daemon /opt/apps/kafka_2.11-2.2.2/config/server.properties 
  2.  
  3. bin/kafka-server-stop.sh stop
  4.

kafka命令行工具

1. 主题命令行操作

  • 查看操作主题命令参数kafka-topics.sh

  • 查看当前服务器中的所有 topic

  1. bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list
  2.

  • 创建 first topic

  1. bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first
  2.

选项说明：

--topic 定义 topic 名

--replication-factor 定义副本数

--partitions 定义分区数

  • 查看 first 主题的详情

  1. bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first
  2.

  • 修改分区数（注意：分区数只能增加，不能减少）

  1.  bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3
  2.

  • 删除 topic

  1.  bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first
  2.

2. 生产者命令行操作

  • 查看操作生产者命令参数kafka-console-producer.sh

  • 发送消息

  1. bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first
  2. >hello world
  3. >xuyang hello
  4.

3. 消费者命令行操作

  • 查看操作消费者命令参数kafka-console-consumer.sh

  • 消费消息

  1. bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
  2.

  • 把主题中所有的数据都读取出来（包括历史数据）。

  1. bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first
  2.

总结

本文分享了平时我在工作使用kafka以及zookeeper常用的一些工具，同时分享了kafka集群的部署，值得一提的是kafka部署配置zookeeper地址的时候，我们可以添加一个路径，比如hadoop:2181/kafka这种方式，那么kafka的元数据信息都会放到/kafka这个目录下，以防混淆。

欢迎关注个人公众号【JAVA旭阳】交流学习！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/812467
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号