kafka集群安装部署

kafka 安装部署（详解）

kafka简介

Kafka是一个分布式流平台。一个分布式的流平台应该包含3点关键的能力：

• 发布和订阅流数据流，类似于消息队列或者是企业消息传递系统
• 以容错的持久化方式存储数据流
• 处理数据流

kafka的应用场景

通常将Kafka用在两类程序：

• 建立实时数据管道，以可靠地在系统或应用程序之间获取数据
• 构建实时流应用程序，以转换或响应数据流

kafka模式介绍

1.生产者消费者

如果基于消息队列来编程，交互模式成为：生产者、消费者模型。

2.消息队列的两种模式：

• 点对点模式：

• • 每个消息只有一个接收者（Consumer）(即一旦被消费，消息就不再在消息队列中)

  • 发送者和接收者间没有依赖性，发送者发送消息之后，不管有没有接收者在运行，都不会影响到发送者下次发送消息；

  • 接收者在成功接收消息之后需向队列应答成功，以便消息队列删除当前接收的消息

• 发布订阅模式

  • 每个消息可以有多个订阅者
  • 发布者和订阅者之间有时间上的依赖性。针对某个主题（Topic）的订阅者，它必须创建一个订阅者之后，才能消费发布者的消息。
  • 为了消费消息，订阅者需要提前订阅该角色主题，并保持在线运行；

kafka环境搭建（集群）

1.将Kafka的安装包上传到虚拟机，并解压

 cd /opt/software/
 
 tar -xvzf kafka_2.12-2.4.1.tgz -C ../opt
 
 cd /opt/kafka_2.12-2.4.1/
1
2
3
4
5

2.修改 server.properties

cd /opt/kafka_2.12-2.4.1/config
mkdir ../data
vim server.properties

# 指定broker的id
broker.id=0  
# 指定监听地址
listeners=PLAINTEXT://master:9092
# 指定Kafka数据的位置
log.dirs=/opt/kafka_2.12-2.4.1/data
# 配置zk的三个节点
zookeeper.connect=【master主机名】:2181,【slave1主机名】:2181,【slave2主机名】:2181
1
2
3
4
5
6
7
8
9
10
11
12

3.将安装好的kafka复制到另外两台服务器

cd /opt
scp -r kafka_2.12-2.4.1/ slave1:/opt
scp -r kafka_2.12-2.4.1/ slave2:/opt

修改另外两个节点的broker.id分别为1和2
---------master--------------
cd /opt/kafka/config
vim server.properties

broker.id=0
listeners=PLAINTEXT://master:9092
---------slave1--------------
cd /opt/kafka/config
vim server.properties

broker.id=1
listeners=PLAINTEXT://slave1:9092
---------slave2--------------
cd /opt/kafka/config
vim server.properties

broker.id=2
listeners=PLAINTEXT://slave2:9092
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

4.配置KAFKA_HOME环境变量

vim /etc/profile
export KAFKA_HOME=/opt/kafka_2.12-2.4.1
export PATH=:$PATH:${KAFKA_HOME}

分发到各个节点
scp /etc/profile slave1:/opt
scp /etc/profile slave2:/opt
每个节点加载环境变量
source /etc/profile
1
2
3
4
5
6
7
8
9

5.启动服务器

cd /opt/zookeeper/
# 启动ZooKeeper
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
cd /opt/kafka_2.12-2.4.1
# 启动Kafka
nohup bin/kafka-server-start.sh config/server.properties &
↑或者↓
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.propertie
# 测试Kafka集群是否启动成功
bin/kafka-topics.sh --bootstrap-server master:9092 --list
1
2
3
4
5
6
7
8
9
10

• nohup命令详解：
• • nohup 英文全称 no hang up（不挂起），用于在系统后台不挂断地运行命令，退出终端不会影响程序的运行。
• • nohup 命令，在默认情况下（非重定向时），会输出一个名叫 nohup.out 的文件到当前目录下，如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。
  • nohup 【要执行的命令】【一些参数，可以知道输出文件】【&：让命令在后台执行，终端退出后命令仍旧执行】

kafka命令集：

1.启动kafka

nohup bin/kafka-server-start.sh config/server.properties &

或者

kafka-server-start.sh -daemon /opt/kafka/config/server.properties

2.创建topic

Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。

# 创建名为test的主题
bin/kafka-topics.sh --create --bootstrap-server master:9092 --topic test
# 查看目前Kafka中的主题
bin/kafka-topics.sh --list --bootstrap-server master:9092
1
2
3
4

3.生产消息到Kafka

使用Kafka内置的测试程序，生产一些消息到Kafka的test主题中。

bin/kafka-console-producer.sh --broker-list master:9092 --topic test

4.从Kafka消费消息

使用下面的命令来消费 test 主题中的消息。

bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic test --from-beginning