kafka集群环境搭建(windows版本)

本例环境:
        jdk 1.7
        zookeeper-3.4.10
        kafka_2.11-0.11
下载地址:
        zookeeper官网下载: https://archive.apache.org/dist/zookeeper/
        kafka官网下载: https://archive.apache.org/dist/kafka/
分享:
        对集群了解不够,参考网上博客,搭建一个环境测试一下,为深入做些铺垫.
        本例是3个zookeeper和3个kafka.
1.将本例使用版本解压到 D:\aServ\kafk
        zookeeper-3.4.10.tar.gz
        kafka_2.11-0.11.0.0.tgz
2.安装配置zookeeper
2.1在D:\aServ\kafk\zookeeper-3.4.10\conf目录找到zoo_sample.cfg重命名一份为zoo.cfg,即zookeeper的配置文件
2.2修改zoo.cfg配置文件,其它默认配置

#存储快照,日志等信息存储位置
dataDir=D:\\aServ\\kafk\\zkdata
#客户端连接端口
clientPort=2181
#zookeeper集群配置信息
server.1=127.0.0.1:9000:7000
server.2=127.0.0.1:9001:7001
server.3=127.0.0.1:9002:7002

2.3说明集群配置格式
         格式: server.A = B:C:D
         其中,
         A: 是一个数字,集群中表示第几号服务器.
         B: 服务器IP地址.
         C: 是一个端口号,用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口.
         D: 是一个端口号,是在leader挂掉是专门用来进行选举leader所用的端口.
2.4一个服务器配置好后,赋值两份,组成三个zookeeper,分明分别如下命名
          zookeeper-3.4.10
          zookeeper-3.4.10-1
          zookeeper-3.4.10-2
         需配置内容分表如下,其它默认:
zookeeper-3.4.10配置

#存储快照,日志等信息存储位置
dataDir=D:\\aServ\\kafk\\zkdata
#客户端连接端口
clientPort=2181
#zookeeper集群配置信息
server.1=127.0.0.1:9000:7000
server.2=127.0.0.1:9001:7001
server.3=127.0.0.1:9002:7002

zookeeper-3.4.10-2配置

#存储快照,日志等信息存储位置
dataDir=D:\\aServ\\kafk\\zkdata-1
#客户端连接端口
clientPort=2182
#zookeeper集群配置信息
server.1=127.0.0.1:9000:7000
server.2=127.0.0.1:9001:7001
server.3=127.0.0.1:9002:7002 

zookeeper-3.4.10-3配置

#存储快照,日志等信息存储位置
dataDir=D:\\aServ\\kafk\\zkdata-2
#客户端连接端口
clientPort=2183
#zookeeper集群配置信息
server.1=127.0.0.1:9000:7000
server.2=127.0.0.1:9001:7001
server.3=127.0.0.1:9002:7002

2.5创建ServerID
        在D:\aServ\kafk下新建如下目录
       D:\aServ\kafk\zkdata
       D:\aServ\kafk\zkdata-1
       D:\aServ\kafk\zkdata-2
       其实对应以上zookeeper配置目录
       在每个目录中新建文件 myid,无后缀名.
       zookeeper-3.4.10      myid文件的内容为  1
       zookeeper-3.4.10-1   myid文件的内容为  2
       zookeeper-3.4.10-2   myid文件的内容为  3
2.6在对应的bin目录双击启动服务
       zkServer.cmd
2.7启动服务
      在先启动的zookeeper会打印其他zookeeper服务器未启动的错误信息,直至到最后一个启动的时候就没有异常信息了
      正常界面

3.安装配置kafka
        把kafka_2.11-0.11.0.0复制两份,分别命名为
        kafka_2.11-0.11.0.0
        kafka_2.11-0.11.0.0-1
        kafka_2.11-0.11.0.0-2
3.1在D:\aServ\kafk\kafka_2.11-0.11.0.0\config找到server.properties配置文件,修改配置文件,其它默认

#kafka集群唯一标识
broker.id=0
#kafka集群的地址
broker.list=127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
#本机监听端口
port=9092
host.name=127.0.0.1
#队列中消息持久化存放的位置
log.dirs=D:\\aServ\\kafk\\kafka-logs
#zookeeper集群
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

3.2在D:\aServ\kafk\kafka_2.11-0.11.0.0-1\config找到server.properties配置文件,修改配置文件,其它默认

#kafka集群唯一标识
broker.id=1
#kafka集群的地址
broker.list=127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
#本机监听端口
port=9093
host.name=127.0.0.1
#队列中消息持久化存放的位置
log.dirs=D:\\aServ\\kafk\\kafka-logs-1
#zookeeper集群
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

3.3在D:\aServ\kafk\kafka_2.11-0.11.0.0-2\config找到server.properties配置文件,修改配置文件,其它默认

#kafka集群唯一标识
broker.id=2
#kafka集群的地址
broker.list=127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
#本机监听端口
port=9094
host.name=127.0.0.1
#队列中消息持久化存放的位置
log.dirs=D:\\aServ\\kafk\\kafka-logs-2
#zookeeper集群
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

3.4启动kafka集群
        分别在以下目录执行命令: 
        D:\aServ\ka\kafka_2.11-0.11.0.0\ 
        D:\aServ\kafk\kafka_2.11-0.11.0.0-1\ 
        D:\aServ\kafk\kafka_2.11-0.11.0.0-2\ 
       使用Windows Power Shell执行启动命令执行命令启动启动服务
       .\bin\windows\kafka-server-start.bat .\config\server.properties
 如下截图

4.测试
4.1 在D:\aServ\kafk\zookeeper-3.4.10\bin目录下使用命令行连接zookeeper
        此处使用cmd.exe命令行工具,进入D:\aServ\kafk\zookeeper-3.4.10\bin
        执行命令:
        .\zkCli.cmd -timeout 5000 -server 127.0.0.1:2182
        启动后查看集群中kafka各个brokes
      连接客户端指令
      .\zkCli.cmd -timeout 5000 -server 127.0.0.1:2181
      .\zkCli.cmd -timeout 5000 -server 127.0.0.1:2182
      .\zkCli.cmd -timeout 5000 -server 127.0.0.1:2183
4.2创建topic
        在D:\aServ\kafk\kafka_2.11-0.11.0.0\bin\windows目录下使用Windows Power Shell工具
        .\kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 1 --topic demo20191013
     
4.3查看topic
        在D:\aServ\kafk\kafka_2.11-0.11.0.0\bin\windows目录下使用Windows Power Shell工具
        .\kafka-topics.bat --zookeeper 127.0.0.1:2181 --describe --topic demo20191013
    
4.4创建生产者
        在D:\aServ\kafk\kafka_2.11-0.11.0.0\bin\windows目录下使用Windows Power Shell工具
       .\kafka-console-producer.bat --broker-list 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --topic demo20191013
4.5创建消费者
        创建消费者一
         在D:\aServ\kafk\kafka_2.11-0.11.0.0\bin\windows目录下使用Windows Power Shell工具
        ​​​​​​​.\kafka-console-consumer.bat --zookeeper 127.0.0.1:2181 --topic demo20191013
        创建消费者二
        在D:\aServ\kafk\kafka_2.11-0.11.0.0\bin\windows目录下使用Windows Power Shell工具
        ​​​​​​​.\kafka-console-consumer.bat --zookeeper 127.0.0.1:2182 --topic demo20191013
        创建消费者三
        在D:\aServ\kafk\kafka_2.11-0.11.0.0\bin\windows目录下使用Windows Power Shell工具
    ​​​​​​​   .\kafka-console-consumer.bat --zookeeper 127.0.0.1:2183 --topic demo20191013
4.6 测试4.4和4.5
     生产者发送信息:
        
     消费者接收信息:

4.7使用.zkCli.cmd产看信息
        此处使用cmd.exe命令行工具,进入D:\aServ\kafk\zookeeper-3.4.10\bin
        执行命令:
        .\zkCli.cmd -timeout 5000 -server 127.0.0.1:2182
    

以上,感谢.