【可视化工具】Kafka-Offset Explorer使用

感谢点赞和关注 ，每天进步一点点！加油！

目录

一、概述

二、环境信息

三、安装和使用

3.1 下载Offset Explorer 和安装

3.2 软件配置

3.2.1Properties

3.2.2Properties

3.2.3Advanced

3.2.4 JAAS config

3.2.5修改配置文件

3.3 基本使用

3.3.1查看topic分区列表及分区leader位置信息

3.3.2查看数据

---

一、概述

---

Offset Explorer（以前称为Kafka Tool）是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI，允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。

一些关键功能包括：

1. 快速查看所有Kafka集群，包括它们的代理、主题和消费者
2. 查看分区中的消息内容并添加新消息
3. 查看消费者的偏移量，包括Apache Storm Kafka spout消费者
4. 以漂亮的打印格式显示JSON、XML和Avro消息
5. 添加和删除主题以及其他管理功能
6. 将分区中的单个消息保存到本地硬盘驱动器
7. 编写您自己的插件，允许您查看自定义数据格式
8. Offset Explorer在Windows、Linux和Mac OS上运行

---

二、环境信息

---

系统环境：windows 10

Offset explorer版本：2.2

Kafka版本：Kafka2.0.0

---

三、安装和使用

---

3.1 下载Offset Explorer 和安装

下载地址：Offset Explorer

下载到本地的 .exe文件

Next

accept Next

安装路径 ，Next

Next

Finish

3.2 软件配置

3.2.1Properties

下载安装完毕，进行新增连接，启动offsetexplorer.exe，在Add Cluster窗口Properties 选项下填写Cluster name 和 kafka Cluster Version等参数信息。

• 集群名称：可随意填写；
• 集群版本：需要确认，不同版本之间差异大；
• zookeeper所在的服务器ip地址：
• 端口；

3.2.2Properties

配置安全项,根据自己环境选择选择，我的环境是SASL_PLAINTEXT，下面选择SASL_PLAINTEXT即可。

SASL_PLAINTEXT：使用SASL框架来做认证和数据加密，使用明文传输数据

SASL_SSL：使用SASL框架来做认证和数据加密，使用SSL加密传输数据

3.2.3Advanced

Bootstrap servers：配置自己的kafka的broker地址

SASL Mechanism: 填写GSSAPI（这里表示SASL的实现，GSSAPI是一套接口，现在只有Kerberos v5实现了这个接口；这里实际就是指的是Kerberos）

3.2.4 JAAS config

如果不是使用GSSAPI可以参考官网；否则有两种方法，第一种命令行启动添加配置，第二种修改配置文件;

我们 JAAS 也可以不用配置 直接用参数 添加到 offsetexplorer.exe 启动命令后面。

com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
client=true
serviceName="kafka"
keyTab="D:/work/winner/kerberos/kafka/kafka.service.keytab"
principal="kafka/hdp103@WINNER.COM";

update 配置后 cd 到 offsetexplorer 的安装目录，添加启动参数 krb5.conf。

offsetexplorer.exe  -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf

JAAS 中没有配置可以 在启动参数中添加 JAAS.conf 路径。

offsetexplorer.exe -J-Djava.security.auth.login.config=D:/work/winner/kerberos/kafka/kafka_client_winner_jaas.conf -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/kafka.service.keytab -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf

3.2.5修改配置文件

找到offset explorer安装目录，然后打开offsetexplorer.vmoptions文件，在末尾添加如下信息（保存关闭，以后每次启动都会生效，如果访问其他KDC集群，请修改配置然后重启）：

3.3 基本使用

3.3.1查看topic分区列表及分区leader位置信息

3.3.2查看数据

kafka成功连接之后可以看到该kafka的Topics信息，如果是集群kafka，可以看到集群下所有节点的信息。

• 打开某一个topic，点击Data查看数据，一开始是没有数据的；
• 选择消费方式，是从开始消费还是从最新开始消费；
• 选消费方式后，点击左上角的“绿色三角符号” 播放按钮才会展示数据，可设置查询的条数。

列表分别展示：消息所属的partition（分区） , offset（偏移量）, message（消息数据），timestamp（数据生成时间戳），

选中具体数据后，查看下方面板

————————————————

参考链接

原文链接：Offset explorer连接Kerberos认证的Kafka_offset连接kafka_过悟的博客-CSDN博客

原文链接：Kafka消息可视化工具-Offset Explorer使用_kafka消息查看工具_水w的博客-CSDN博客

原文链接：Kafka的终极UI工具丨Offset Explorer功能简介_offsetexplorer_51component技术交流的博客-CSDN博客

---

感谢点赞和关注！