Kafka 安装部署、集群启动、命令行操作 与 可视化工具 Kafka Tool

本文环境：Java jdk 1.8 + zookeeper 3.6.1 + kafka 2.6.0 + CentOS 7.2

Kafka 基础概念剖析

Kafka 分布式事件流平台

1、Apache Kafka 是一个开源的分布式事件流平台，被广泛用于高性能数据管道、流分析、数据集成和关键任务应用。

2、Kafka 通常用于两大类应用：1）构建实时流数据管道，在系统或应用程序之间可靠地获取数据。2）构建对数据流进行转换或响应的实时流式应用程序

3、Kafka 作为集群运行在一个或多个服务器上，可以跨越多个数据中心。Kafka 集群将记录流存储在称为 topics 的主题中。每个记录由一个键、一个值和一个时间戳组成。

4、Kafka 核心 API 有五个：

CentOS 安装部署 Kafka

特别提醒：kafka 服务器是依赖  zookeeper 服务器做集群的，所以使用 kafka 得先安装启动 zookeeper 。

一：kafka 下载

1、从 Kafka 官网下载压缩文件，当前最新的是 2020年3月发布的 Kafka 2.6.0，点击如下任意一个链接都可以下载到文件。

2、从后缀名 .tgz 可以看出这是用于 Linux 系统安装的，所以我选择在 CentOS 7.2 上安装，因为压缩文件并不大(如下所示为 63M)，所以使用 wget 命令直接将文件下载到 linux 系统中:

[root@localhost home]# wget https://mirrors.bfsu.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz
--2020-08-17 09:56:58--  https://mirrors.bfsu.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz
正在解析主机 mirrors.bfsu.edu.cn (mirrors.bfsu.edu.cn)... 39.155.141.16, 2001:da8:20f:4435:4adf:37ff:fe55:2840
正在连接 mirrors.bfsu.edu.cn (mirrors.bfsu.edu.cn)|39.155.141.16|:443... 已连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：65537909 (63M) [application/octet-stream]
正在保存至: “kafka_2.13-2.6.0.tgz”
 
100%[===============================================================>] 65,537,909  4.54MB/s 用时 19s    
 
2020-08-17 09:57:18 (3.26 MB/s) - 已保存 “kafka_2.13-2.6.0.tgz” [65537909/65537909])
 
[root@localhost home]# ls
apache-zookeeper-3.6.1-bin jdk1.8.0_172  kafka_2.13-2.6.0.tgz redis5  redis-5.0.4
[root@localhost home]# du -sh kafka_2.13-2.6.0.tgz 
63M	kafka_2.13-2.6.0.tgz
[root@localhost home]# 

二：kafka 解压

[root@localhost home]# tar -xzvf kafka_2.13-2.6.0.tgz
......
[root@localhost home]# ls
apache-zookeeper-3.6.1-bin  jdk1.8.0_172  kafka_2.13-2.6.0  kafka_2.13-2.6.0.tgz  redis5  redis-5.0.4
[root@localhost home]# cd kafka_2.13-2.6.0
[root@localhost kafka_2.13-2.6.0]# ls
bin  config  libs  LICENSE  NOTICE  site-docs
[root@localhost kafka_2.13-2.6.0]# 

三：创建日志目录

1、事先创建一个存放日志/数据的目录，用于 kafa 存放日志信息/数数据，后续会配置此路径（注意这个目录就是 kafka 的数据存放目录，kafka 以日志的形式存储数据）。

[root@localhost kafka_2.13-2.6.0]# mkdir logs
[root@localhost kafka_2.13-2.6.0]# ls
bin  config  libs  LICENSE  logs  NOTICE  site-docs
[root@localhost kafka_2.13-2.6.0]# 

四：kafka 核心文件 server.properties 配置

1、%KAFKA_HOME%/config 目录下有 15 个属性配置文件，其中 server.properties 是 kafka 服务器核心配置文件，其中主要配置项说明如下，可根据实际需要进行配置。

更详细的配置选项可以参考官网：Apache Kafka

五：Kafka 环境变量

1、编辑 /etc/profile 配置文件，追加下面内容，其中 KAFKA_HOME 的值根据实际地址写。

Kafka 集群启动与停止

1、在上面安装部署 kafka 之后，就可以启动 kafka 服务器了，当然还得先 zookeeper 服务器，生产中通常都会使用公共的独立的 zookeeper 服务器，但是开发测试时，也可以直接使用 Kafka 内置的 zookeeper 服务器。

特别提醒：kafka 的集群启动很简单，只要准备多份  kafka ，然后注册到同一个 zookeeper 服务器或者 zk 集群即可，修改配置文件 server.properties 中的 zookeeper.connect 指向 zookeeper 地址(zk可单机可集群)即可， kafka 的 broker.id 的值在集群下必须唯一。换句话说就是：kafka 是通过 zookeeper 进行集群管理的，只需要大家指向同一个 zk 即可。

2、%KAFKA_HOME%/bin/ 目录下有很多的的可执行脚本，kafka 服务器的启动与关闭使用的是 kafka-server-start.sh 与 kafka-server-stop.sh。

3、kafka 运行的所有日志信息存储在 %KAFKA_HOME%/logs/ 目录下。

4、kafka 启动之后，会在 zookeeper 服务器上新建许多节点。

5、如下动图演示了两台机器的 kafka 机器，分别为 192.168.116.128、192.168.116.129，先对 Zookeeper 进行了集群，然后对 kafka 进行了集群。

images/Kafka 集群启动.gif · 汪少棠/material - Gitee.com

如果想要单机启动 kafka ，则也只需要准备一台 zookeeper 服务器，然后将单台 的 kafka 注册到此 zk 服务器即可。

kafka 内置 zookeeper 服务器

1、生产中通常都会部署公共的独立 zookeeper 服务器，但是开发测试时，也可以直接使用 Kafka 内置的 zookeeper 服务器。

2、使用 Kafka 内置的 zookeeper 服务器也很简单，步骤如下：

3、下面通过动图演示一下启动 kafka 内置的 zk 服务器，然后 kafka 连接此内置的 zk 服务器：

4、如果启动 kafka 报错如下，则删除配置文件 server.properties 中参数 log.dirs目录下的全部文件，重启 Kafka 即可解决。比如我之前使用 kafka 连接的独立部署的 zk 服务器，后面连接内置的 zk 服务器时，启动就报错如下，删除日志文件后就启动成功。

（特别提醒：server.properties 中参数 log.dirs 目录是 kafka 的数据存放目录，一旦删除，则数据也没有了，必须慎重！）

[2020-08-24 19:18:55,917] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentClusterIdException: The Cluster ID M-r5t-8hRSetuxp4HsZQzg doesn't match stored clusterId Some(GFE8zS5ORd6ad--KbhG28A) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
	at kafka.server.KafkaServer.startup(KafkaServer.scala:235)
	at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
	at kafka.Kafka$.main(Kafka.scala:82)
	at kafka.Kafka.main(Kafka.scala)
[2020-08-24 19:18:55,920] INFO shutting down (kafka.server.KafkaServer)

kafka 命令行脚本操作

1、%KAFKA_HOME%/bin/ 目录下有很多的的可执行脚本，kafka 服务器的启动与关闭使用的是 kafka-server-start.sh 与 kafka-server-stop.sh。现在练习其它可执行脚本，比如查看主题、创建主题、上传主题、发生消息、消费消息等等。

2、操作这些脚本之前，必须先启动 Kafka 服务器。

kafka 配置参数

1、Kafka 使用属性文件格式中的键值对进行配置，这些值可以从文件或以编程方式提供。如下所示为官网配置：

---

Kafka 可视化工具 Kafka Tool

1、Kafka 工具是一个 GUI 应用程序，用于管理和使用 Apache Kafka 群集，它提供了一个直观的用户界面，允许用户快速查看Kafka 集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的特性。

2、Kafka Tool 主要包括以下关键功能：

3、Kafka Tool  仅供个人使用，未经许可，任何非个人用途，包括商业、教育和非盈利工作，均不得使用，下载 Kafka Tool 后 30 天内，允许非个人使用，之后您必须购买有效许可证或删除软件。

4、因为本人使用的是 Kafka 2.6 版本，所以下载的也是 kafka Tool 的最新版 Kafka Tool 2.0.8

如上所示安装和普通软件一样，选择安装路径安装即可，没有特殊的地方。

连接方式一

一：演示环境说明

      本文演示在 Win10 上安装 kafka Tool，然后连接虚拟机中的 kafka 集群。

      因为平时学习的需要，所以本人是两台 CentOS 7.2 虚拟机，ip 分别为 192.168.116.128、192.168.116.129，主机名称分别为 wangmaoxiong001、wangmaoxiong002，两台机器上都已经安装并集群启动了 Zookeeper 与 Kafka。zookeeper 使用默认的 2181 监听端口，以及 kafka 使用默认的 9092 端口，并都对外开放了防火墙。

二：配置 kafka 机器域名

1、修改 windows 系统中 C:\Windows\System32\drivers\etc 目录下的 hosts 文件，添加 kafka 集群的域名信息，如下所示，根据实际情况填写，ip 空格 主机名称。

2、如果不配置这一步，那么后期启动 kafka Tool 连接成功之后，会打不开 Topics 与 Consumers 菜单，会提示连接不上，如果后期打开没问题，则这一步省略也没关系。

192.168.116.128 wangmaoxiong001
192.168.116.129 wangmaoxiong002

三：启动 Kafka Tool

1、找到 kafka tool 安装目录，双击 kafkatool.exe 即可运行。然后就是配置连接信息：

工具比较简洁，多点一点，熟练一下，操作基本没什么难度，下面再演示一下保存消息到本地，其余不再累述。

连接方式二

1、除了配置 Zookeeper 地址，直接配置 kafka 地址也是可以的，因为有时候我们只知道 kafka 地址，并不知道 zookpeeper 地址，因为代码里面收发消息只配置 kafka 地址就可以了。

2、配置 kafka 地址同样可以，集群时使用逗号隔开。

创建主题 & 发送消息

1、支持手动创建主题。

2、支持向指定主题发送消息。