Centos7.4 Kafka集群部署（最详细图文）_kafka 2.1.2-3.0.1部署

Centos7.4 Kafka集群部署（最详细图文）

人生苦短，务必性感。

目录

准备工作

1、安装Java环境

2、安装ZooKeeper

2.1、准备zookeeper安装包

2.2、安装zookeeper

2.2.1、 Zookeeper部署

2.2.2、Zookeeper集群配置

3、安装kafka

3.1、准备Kafka安装包

3.2、安装kafka

3.2.1 kafka部署

3.2.2 kafka集群配置

4、kafka常用命令

4.1.查看topic

4.2.查看具体的topic详细信息

4.3.创建topic

5、kafka tool使用

5.1、下载并安装Kafka Tool

5.2、kafka tool使用

---

准备工作

 

 

 

 

1、安装Java环境

Kafka依赖Java环境，因此，安装Kafka之前必须先安装Java环境。

Centos 7一般自带jdk1.6版本，直接使用自带的jdk 即可；如果对jdk版本有要求，可以手动安装对应版本。

 

2、安装ZooKeeper

因为Kakfa集群需要依赖ZooKeeper存储Broker、Topic等信息，所以，在安装Kafka之前我们必须先安装zookeeper。

这里我们部署三台ZooKeeper。

 

2.1、准备zookeeper安装包

官网下载地址：

https://zookeeper.apache.org/releases.html#download

 

2.2、安装zookeeper

2.2.1、 Zookeeper部署

1、mkdir -p /usr/local/zookeeper   # 创建目录

2、拷贝zookeeper-3.4.14.tar.gz到服务器/usr/local/zookeeper

3、 tar -zxvf zookeeper-3.4.14.tar.gz  # 解压

4、cd zookeeper-3.4.14/conf ，执行 cp zoo_sample.cfg  zoo.cfg   # 复制zoo_sample.cfg并重命名为zoo.cfg

5、使用vi修改zoo.cfg，修改内容dataDir=/tmp/zookeeper/data，目录可根据实际情况自由配置

注：在10.45.157.55、10.45.157.56、10.45.157.57三台服务器上均按照1~5步骤安装完成

 

2.2.2、Zookeeper集群配置

1、修改单节点的zoo.cfg 文件，在最后添加

       server.0=10.45.157.55:2888:3888

       server.1=10.45.157.56:2888:3888

       server.2=10.45.157.57:2888:3888

注：在10.45.157.55、10.45.157.56、10.45.157.57三台服务器上，每个zoo.cfg文件均填写以上3行配置

这里介绍下这个配置项的含义 server.A=B:C:D

　    A：其中 A 是一个数字，表示这个是服务器的编号；

　    B：是这个服务器的 ip 地址；

　    C：Leader选举的端口；

　    D：Zookeeper服务器之间的通信端口。

配置时，C,D俩个端口保持不变，只需要修改ip地址即可。这里A的服务器编号，后面还会进行配置，不可以弄乱，按照上面配置即可。

 

2、在zoo.cfg文件中配置的dataDir 指定的目录下（/tmp/zookeeper/data），创建 myid 文件

cd  /tmp/zookeeper/data  #进入目录

touch myid  # 创建myid文件

 

3、编辑myid文件，输入命令：vi myid，在该文件添加上一步 server 配置的对应 A 数字。

在10.45.157.55 服务器的myid文件中，填入 0

在10.45.157.66 服务器的myid文件中，填入 1

在10.45.157.67 服务器的myid文件中，填入 2

 

4、启动zookeeper，输入命令：

cd /usr/local/zookeeper-3.4.14/bin/   #进入zookeeper安装目录

sh  zkServer.sh start  #启动zookeeper

注：在10.45.157.55、10.45.157.56、10.45.157.57三台服务器上，均启动zookeeper，出现上图ZooKeeper JMX enabled by default
表示启动成功

5、在10.45.157.55、10.45.157.56、10.45.157.57三台服务器上均执行sh  zkServer.sh status ，出现以下即表示集群搭建成功。

1个leader，2个follower。

三台机器，自动选举leader，剩下的两台成为了 follower。这时候，如果你将其中一台服务关掉，会发现剩下两台又会有一台变成了 leader节点。

 

3、安装kafka

这里我们部署三台Kafka。

3.1、准备Kafka安装包

官网下载地址：

http://kafka.apache.org/downloads.html

 

 

3.2、安装kafka

3.2.1 kafka部署

     1、mkdir -p /usr/local/kafka   # 创建目录

     2、拷贝 kafka_2.11-2.3.1.tgz到服务器 /usr/local/kafka

     3、tar -zxvf kafka_2.11-2.3.1.tgz  # 解压kafka

 

3.2.2 kafka集群配置

     进入config目录：cd  /kafka_2.11-2.3.1/config, 使用vi编辑:vi server.properties，修改配置文件，将：

broker.id=0修改为对应的服务器的编号（这里的broker.id 需要与myid中的一致，需要保证kafka集群中设置的都不一样，10.45.157.55服务器中broker.id=0、10.45.157.56服务器中broker.id=1、110.45.157.57服务器中broker.id=2）

listeners=PLAINTEXT://配置实际的ip地址 : 9092

advertised.host.name=配置实际的ip地址

host.name=配置实际的ip地址

log.retention.hours = 72     # 日志清理的时间，单位小时，可根据磁盘空间和项目需要配置

advertised.listeners=PLAINTEXT://配置实际的ip地址

zookeeper.connect=10.45.157.55:2181,10.45.157.66:2181,10.45.157.47:2181

 

10.45.157.55、10.45.157.56、10.45.157.57三台机器都配置好了，分别启动kafka(/usr/local/kafka为本文特点路径，可根据实际情况选择安装目录):

nohup /usr/local/kafka/kafka_2.11-2.3.1/bin/kafka-server-start.sh /usr/local/kafka/kafka_2.11-2.3.1/config/server.properties 1>/dev/null 2>&1 &

终端输入jps显示Kafka则表示启动成功，如下图：

注：如果安装linux操作系统的时候，区分了多个盘，则需要根据实际情况修改log.dirs的路径。以避免日志文件过多，系统目录空间利用率达到100%，kafka异常退出。

 

4、kafka常用命令

4.1.查看topic

进入kafka安装目录，cd /usr/kafka/kafka_2.12-2.3.1(进入实际安装路径输入)

输入bin/kafka-topics.sh --list --zookeeper localhost:2181

 

4.2.查看具体的topic详细信息

如，查看peim-b-mete-production的详细信息：

进入kafka安装目录，cd /usr/kafka/kafka_2.12-2.3.1(根据现场实际安装路径输入)

命令窗口输入bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic peim-b-mete-production --describe

 

4.3.创建topic

例如，创建45个分区的peim-b-mete-production

进入kafka安装目录，cd /usr/kafka/kafka_2.12-2.3.1(根据实际安装路径输入)

命令窗口输入bin/kafka-topics.sh --create --topic peim-b-mete-production --replication-factor 1 --partitions 45 --zookeeper localhost:2181

 

5、kafka tool使用

5.1、下载并安装Kafka Tool

下载地址：http://www.kafkatool.com/download.html

根据不同的系统下载对应的版本，我这里下载的是kafka tool 2.0.7

双击安装，一直下一步下一步即可安装完成，安装完成后，点击Kafka Tool 2.0图标即可打开工具，如下图：

 

5.2、kafka tool使用

主要提供了直观的UI，方便用户查看Kafka主题中的消息。

1、点击File→Add New Connection

2、选择Properties，填写参数：

Zookeerper Host：实际ip

Zookeeper Port：默认2081

3、选择Advanced，填写参数：

ip:9092

4、点击connect ，左侧红灯变为绿灯，则表示连接成功

5、点击+号 ，可展示Brokers、topics、Consumers详细情况

 

6、查看某个topic总消息条数

7、查看具体消息，可选择Text、Hex、JSON、XML格式显示