【Linux】ubuntu下kafka集群环境搭建_ubuntu多虚拟机部署kafka集群

１.下载kafka正式版，本文使用kafka_2.10-0.8.2.2（在此特别说明下，kafka_2.9.2-0.8.1.1.tgz由于版本相对较低的问题，好多.sh文件时缺少的，比如kafka-topics.sh，所以建议大家在安装的时候不要使用太老的版本，问题较多，并且启动kafka-server-start的时候还报错，始终无法启动成功～）

官网下载链接如下：http://kafka.apache.org/downloads.html

２．解压tar包

命令如下：tar -zxvf kafka_2.10-0.8.2.2.tar.gz

3.修改server.properties相关配置

进入kafka根目录下的config/server.properties，主要修改的３个参数如下：

broker.id=0 //broker的标识（正数），集群内各个broker.id不能重复。

port=9092 //端口号，单节点内各个port不能重复(为了方便看最好不同节点端口也不要重复)。

log.dir =/tmp //存储log的地方（数据文件）。可根据自己的日志目录进行修改

以上配置时在单机上的配置，多台机器的配置要根据ｉｐ进行相关配置；

４．修改config下面的log4j.properties、zookeeper.properties的日志目录；

　　　　log4j.properties下面的kafka.logs.dir=logs，可根据自己需要修改成自己的目录；

　　　　zookeeper.properties下面的dataDir=/tmp/zookeeper，可根据需要修改成自己的目录

５．验证是否安装成功

（１）  start server

            启动一个单节点的ｚｏｏｋｅｅｐｅｒ，命令如下：>bin/zookeeper-server-start.sh config/zookeeper.properties

   　准备启动一个３个ｂｒｏｋｅｒ节点的ｋａｆｋａ集群，因此做如下配置：

　　　$ cp config/server.properties config/server-1.properties 
　　　$ cp config/server.properties config/server-2.properties

　　　并做如下修改：

　　　config/server-1.properties:
   　　　　 broker.id=1
    　　　　port=9093
   　　　　 log.dir=/tmp/kafka-logs-1

　　　config/server-2.properties:
  　　　　  broker.id=2
   　　　　 port=9094
   　　　　 log.dir=/tmp/kafka-logs-2

　　　说明：
　　　broker.id: broker节点的唯一标识
　　　port: broker节点使用端口号
　　　log.dir: 消息目录位置

　　　启动3个broker节点
　　　$ JMX_PORT=9997 bin/kafka-server-start.sh config/server-1.properties &
　　　$ JMX_PORT=9998 bin/kafka-server-start.sh config/server-2.properties &
　　　$ JMX_PORT=9999 bin/kafka-server-start.sh config/server.properties &

　　　标红的内容可根据自己的需要进行配置；

  启动单个ｂｒｏｋｅｒ节点的ｋａｆｋａ集群，命令如下：>bin/kafka-server-start.sh config/server.propertie

      第一行时启动ｋａｆｋａ自带的ｚｏｏｋｅｅｐｅｒ

（２）create a topic

$bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

$bin/kafka-topics.sh --list --zookeeper localhost:2181

topic: 3test    partition: 0    leader: 2       replicas: 2,1,0 isr: 2,1,0
　topic: test     partition: 0    leader: 0       replicas: 0     isr: 0
　topic: test_topic       partition: 0    leader: 1       replicas: 0,1,2 isr: 1,2,0
　说明：
　partiton： partion id，由于此处只有一个partition，因此partition id 为0
　leader：当前负责读写的lead broker id
　relicas：当前partition的所有replication broker  list
　isr：relicas的子集，只包含出于活动状态的broker
 

（３）send message

     $bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

（４）start a consumer

$bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

kafka-console-producer.sh和kafka-console-cousumer.sh只是系统提供的命令行工具。这里启动是为了测试是否能正常生产消费，验证流程正确性，在实际开发中还是要自行开发自己的生产者与消费者。

（５）start a produce

      $ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

　　　这样就可以的命令行输入信息，可以看到ｃｏｎｓｕｍｅｒ可以获得同样的信息～

  6.干掉follow broker

      杀掉一个非leader broker命令如下:server-1.properties里面的ｂｒｏｋｅｒ　＝１

      $ pkill -9 -f server-1.properties

   　查看topic：
　　　$ bin/kafka-list-topic.sh --zookeeper localhost:2181
　　　topic: 3test    partition: 0    leader: 2       replicas: 2,1,0 isr: 2,0
　　　topic: test     partition: 0    leader: 2       replicas: 0,1,2 isr: 2,0
　　　此时，存活的broker只有2,0
　　　测试：produce发送消息，consumer能正常接收到

 7.继续干掉leader broker

   干掉leader broker后，连续查看topic状态
   $ pkill -9 -f server-2.properties                 
   $ bin/kafka-list-topic.sh --zookeeper localhost:2181
   topic: test    partition: 0    leader: 2       replicas: 2,1,0 isr: 2,0
 
   $ bin/kafka-list-topic.sh --zookeeper localhost:2181
   topic: test    partition: 0    leader: 2       replicas: 2,1,0 isr: 2,0
 
   $ bin/kafka-list-topic.sh --zookeeper localhost:2181
   topic: test    partition: 0    leader: 0       replicas: 2,1,0 isr: 0
 
   $ bin/kafka-list-topic.sh --zookeeper localhost:2181
   topic: test    partition: 0    leader: 0       replicas: 2,1,0 isr: 0
 
   杀掉leader broker过了一会，broker 0成为新的leader broker
   测试：produce发送消息，consumer能正常接收到
 

8．kafka常用命令

创建topic

/kafka-topics.sh --create --zookeeper 192.168.153.128:2181 --replication-factor 1--partitions 1 --topic test123

查看topic信息

./kafka-topics.sh --describe --topic test123 --zookeeper 192.168.153.128:2181

修改topic分区

./kafka-topics.sh --alter --topic test123 --partitions 2 --zookeeper 192.168.153.128:2181

删除topic

./kafka-run-class.shkafka.admin.DeleteTopicCommand --topic test1 --zookeeper192.168.35.122:2181,192.168.35.123:2181

只是删除了zookeeper中元数据，数据文件还需手动删除。