当前位置:   article > 正文

13-Linux部署Kafka集群

13-Linux部署Kafka集群

Linux部署Kafka集群

简介

Kafka是一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。

同RabbitMQ一样,Kafka也是消息队列。不过RabbitMQ多用于后端系统,因其更加专注于消息的延迟和容错。

Kafka多用于大数据体系,因其更加专注于数据的吞吐能力。

Kafka多数都是运行在分布式(集群化)模式下,所以课程将以3台服务器,来完成Kafka集群的安装部署。

Kafka官网:https://kafka.apache.org/

安装

  1. 确保已经安装并部署了JDK和Zookeeper服务

    Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper

    参考文章

    11-Linux部署集群准备:http://t.csdnimg.cn/zWbnd

    12-Linux部署Zookeeper集群:http://t.csdnimg.cn/dOvt5

  2. 【在node1操作】下载并上传Kafka的安装包

    # 下载安装包
    wget --no-check-certificate http://archive.apache.org/dist/kafka/3.7.0/kafka_2.12-3.7.0.tgz
    
    • 1
    • 2
  3. 【在node1操作】解压

    mkdir -p /export/server			# 此文件夹如果不存在需先创建
    
    # 解压
    tar -zxvf kafka_2.12-3.7.0.tgz -C /export/server/
    
    # 创建软链接
    ln -s /export/server/kafka_2.12-3.7.0 /export/server/kafka
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
  4. 【在node1操作】修改Kafka目录内的config目录内的server.properties文件

    cd /export/server/kafka/config
    vim server.properties
    
    • 1
    • 2
    • 只修改为以下内容
    # 24行指定broker的id
    broker.id=1
    # 34行指定 kafka的绑定监听的地址
    listeners=PLAINTEXT://node1:9092
    # 62行指定Kafka数据的位置
    log.dirs=/export/server/kafka/data
    # 125行指定Zookeeper的三个节点
    zookeeper.connect=node1:2181,node2:2181,node3:2181
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
  5. 【在node1操作】将node1的kafka复制到node2和node3

    cd /export/server
    
    # 复制到node2同名文件夹
    scp -r kafka_2.12-3.7.0 node2:`pwd`/
    # 复制到node3同名文件夹
    scp -r kafka_2.12-3.7.0 node3:$PWD
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
  6. 【在node2操作】

    • 创建软链接
    ln -s /export/server/kafka_2.12-3.7.0 /export/server/kafka
    
    • 1
    • 修改Kafka目录内的config目录内的server.properties文件
    cd /export/server/kafka/config
    vim server.properties
    
    • 1
    • 2
    • 修改以下内容
    # 24行指定broker的id
    broker.id=2
    # 34行指定 kafka的绑定监听的地址
    listeners=PLAINTEXT://node2:9092
    # 62行指定Kafka数据的位置
    log.dirs=/export/server/kafka/data
    # 125行指定Zookeeper的三个节点
    zookeeper.connect=node1:2181,node2:2181,node3:2181
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
  7. 【在node3操作】

    • 创建软链接
    ln -s /export/server/kafka_2.12-3.7.0 /export/server/kafka
    
    • 1
    • 修改Kafka目录内的config目录内的server.properties文件
    cd /export/server/kafka/config
    vim server.properties
    
    • 1
    • 2
    • 复制以下内容
    # 24行指定broker的id
    broker.id=3
    # 34行指定 kafka的绑定监听的地址
    listeners=PLAINTEXT://node3:9092
    # 62行指定Kafka数据的位置
    log.dirs=/export/server/kafka/data
    # 125行指定Zookeeper的三个节点
    zookeeper.connect=node1:2181,node2:2181,node3:2181
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
  8. 启动kafka

    • 启动zookeeper

    • 进入zookeeper的bin目录下,运行zkCli.sh

    cd /export/server/zookeeper/bin
    ./zkCli.sh
    
    • 1
    • 2

    启动kafka,请先确保Zookeeper已经启动了

    • 方式1:【前台启动】分别在node1、2、3上执行如下语句
    /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties
    
    • 1
    • node1

    image-20240228160453145

    • node2

    image-20240228160530180

    • node3

    image-20240228160551496

    • 方式2:【后台启动】分别在node1、2、3上执行如下语句
    nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &
    
    • 1

    image-20240228161303196

  9. 验证Kafka启动

    # 在每一台服务器执行
    jps
    
    • 1
    • 2

测试Kafka能否正常使用

  1. 创建测试主题
# 在node1执行,创建一个主题
/export/server/kafka_2.12-3.7.0/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test
  • 1
  • 2
  1. 运行测试,请在xshell中打开2个node1的终端页面
  2. 打开一个终端页面,启动一个模拟的数据生产者
/export/server/kafka_2.12-3.7.0/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
  • 1
  1. 再打开一个新的终端页面,在启动一个模拟的数据消费者
/export/server/kafka_2.12-3.7.0/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning
  • 1

image-20240228163601062

注意:在node1中输入退格键时会输入**^H**,同时按住Ctrlbackspace键能删除字符

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Monodyee/article/detail/185429
推荐阅读
相关标签
  

闽ICP备14008679号