centos中安装kafka（不用docker）_centos 安装kafka

概述

其实kafka的安装是非常简单的，大家可以看官网，地址在下面。
kafka官网，quickstart

点击download,看到下面这个下载地址

开始搞事了

1.下载

cd /home
wget https://dlcdn.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz
1
2

下载完成后解压文件

tar -xzf kafka_2.13-3.4.0.tgz
cd kafka_2.13-3.4.0
1
2

2.运行zookeeper

#前台运行的命令
./bin/zookeeper-server-start.sh ./config/zookeeper.properties
#或者后台运行
./bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties
1
2
3
4

3.运行kafka-server

#前台运行
./bin/kafka-server-start.sh config/server.properties

#后台运行
./bin/kafka-server-start.sh -daemon ./config/server.properties
1
2
3
4
5

4.学会改kafka的conf文件

4.1 几个重要的地方要改：

• broker.id=1：加入集群的时候，id要变，不能跟以前的一样。
• listeners=PLAINTEXT://192.168.50.147:9092，这里ip地址要改，改成服务器的内网ip，否则内网其它的服务器找不能访问这个server
• zookeeper.connect=192.168.50.173:2181，这里要填写zookeeper的地址和端口。

以上三个必须注意，否则可能运行不起来。

另外，如果你的服务器要被公网访问，还需要修改advertised.listeners，关于这个的解释我摘抄一段文字描述。

advertised.listeners 和 listeners 都是 Kafka 的重要参数，用于配置 Kafka 的监听地址。它们之间的区别如下：

• listeners：用于指定 Kafka Broker 监听的地址和端口，它可以包含多个监听地址。例如，listeners=PLAINTEXT://0.0.0.0:9092,SSL://0.0.0.0:9093 表示当前 Broker 同时监听 9092 和 9093 端口，一个用于 PLAINTEXT 协议，另一个用于 SSL 协议。在多台 Broker 的集群中，通常要为每个 Broker 指定唯一的监听地址，以避免冲突。
• advertised.listeners：用于向客户端公开 Kafka Broker 的访问地址，客户端将使用该地址来连接 Kafka Broker。由于 Kafka 集群的 Broker 可能位于不同的机器上，所以每个 Broker 的监听地址可能是不同的，因此需要将每个 Broker 的公开地址提供给客户端。例如，advertised.listeners=PLAINTEXT://localhost:9092,SSL://localhost:9093 表示客户端应该使用 localhost 作为 Kafka Broker 的访问地址。通常情况下，advertised.listeners 的配置方式与 listeners 相同，只是地址部分被改为公开地址。
• 需要注意的是，当 advertised.listeners 参数不设置时，Kafka 会自动将 listeners 中的地址作为公开地址。因此，如果你的 Kafka 集群中的 Broker 之间是通过内部网络连接的，那么你可以只设置 listeners 参数，并让 Kafka 自动选择正确的地址。如果你的集群中的 Broker 是通过外部网络互相连接的，则需要同时设置 advertised.listeners 和 listeners 参数。

4.2 建议修改log存放的目录

• log.dirs=/var/lib/docker/kafka-logs

5.配置内外网不同的访问

listeners=PRIVATE://0.0.0.0:9092,PUBLIC://0.0.0.0:9093
advertised.listeners=PRIVATE://192.168.16.4:9092,PUBLIC://180.77.248.246:9093
listener.security.protocol.map=PRIVATE:PLAINTEXT,PUBLIC:PLAINTEXT
inter.broker.listener.name=PRIVATE
1
2
3
4

参考以下链接关于内外网配置不同

6.解决kafka服务问题的终极大法

在我使用Kafka的过程中出现了2次kafka不能访问的问题。后来我用粗暴的方法解决了。就是删除log，重新放数据。
实际操作是，修改config文件，指向一个新的log目录，然后重启服务。

进到这个目录，找到两个文件。

6.1 Zookeeper改这个目录，然后源目录的文件慢慢研究。或者删掉。

6.2 kafka改这个目录，原来的可以删除，也可以留着慢慢研究。

6.3 重启zookeeper和kafka

#前台运行的命令
./bin/zookeeper-server-start.sh ./config/zookeeper.properties
#或者后台运行
./bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties
1
2
3
4

#前台运行
./bin/kafka-server-start.sh config/server.properties

#后台运行
./bin/kafka-server-start.sh -daemon ./config/server.properties
1
2
3
4
5

7.kafka中log有关的内容

可以参考以下帖子。
https://blog.csdn.net/fenglepeng/article/details/114532420