【Linux安装kafka和依赖】_kafka 依赖包

Linux安装Kafka和依赖：

一.安装jdk

    1.cd /usr/local
    2.mkdir java 创建java文件夹
    3.把jdk安装包jdk-8u144-linux-x64.tar.gz上传到/usr/local/java文件夹内
    4.在/usr/local/java目录执行tar -zxvf jdk-8u144-linux-x64.tar.gz
    5.配置环境变量
        ①:vim /etc/profile在文件末尾加上如下配置：
                 JAVA_HOME=/usr/local/java/jdk1.8.0_144
                 CLASSPATH=$JAVA_HOME/lib/
		         PATH=$PATH:$JAVA_HOME/bin
	             export PATH JAVA_HOME CLASSPAT
             然后wq保存退出
        ②:执行: source /etc/profile命令使配置生效   	     
        ③:查看是否安装成功：java -version
1
2
3
4
5
6
7
8
9
10
11
12
13

二.安装zookeeper

 	  1.下载版本： https://mirrors.bfsu.edu.cn/apache/zookeeper/
      2.tar -zxvf 文件名称 解压版本
      3.进入文件：cd 文件名/conf 
      4.将zoo_sample.cfg这个文件复制为zoo.cfg  : cp zoo_sample.cfg  zoo.cfg
      5.进行修改：dataDir默认地址是/tmp/zookeeper 数据存放地址可以随便写（前提是有这个文件）
      6.进入zookeeper下的bin目录执行启动：./zkServer.sh start
1
2
3
4
5
6

三.安装kafka

      1.下载kafka版本：https://mirrors.bfsu.edu.cn/apache/kafka/
      2.解压kafka包：tar -xzf 包名
      3.启动kafka之前要确保zookeeper已经启动
      4.启动kafka之前，需要修改kafka配置文件中的zookeeper地址
      5.vi config/server.properties 修改zookeeper.connect=127.0.0.1:2181（这里修改成自己安装的zookeeper地址和端口即可)
1
2
3
4
5

四. 命令

1.启动命令：

• 启动zooleeper：./zkServer.sh start 到zooleepr文件下
• 运行kafka：bin/kafka-server-start.sh config/server.properties
• 后台运行 kafka命令：bin/kafka-server-start.sh -daemon config/server.properties（切到kafka文件下）

2.查询kafka命令

• 创建topic（4个分区，2个副本): bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test
• kafka版本 >= 2.2: bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
• 分区扩容 kafka版本 < 2.2: bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic1 --partitions 2
• kafka版本 >= 2.2: bin/kafka-topics.sh --bootstrap-server broker_host:port --alter --topic topic1 --partitions 2
• 删除topicbin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test
• 查询集群描述: bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181
• 查询集群描述二：bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic foo --describe
• topic列表查询： bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

3.kafka生产、消费

• 生产 bin/kafka-console-producer.sh --broker-list ******:9092 --topic test --producer.config config/producer.properties
• 消费 bin/kafka-console-consumer.sh --bootstrap-server *******:9092 --topic test --from-beginning --consumer.config config/consumer.properties

4.kafka出现返回值1000的时候

• 第一：看一下kafka是否链接成功
• 第二：去kafka文件中config文件里找到server.properties文件，看一下listeners是否打开，listeners=PLAINTEXT://安装kafka的ip:9092
• 第三：删除kafkalog日志，默认配置到tmp/kafka-logs 都删了
• 第四：重启kafka和zookeeper 先停掉kafka，在停掉zookeeper

5.检查是否被占用：lsof -n -i :9092 | grep LISTEN

6.kafka杀死进程

[root@node3 ~]# jps
10901 Jps
9146 Kafka
2587 NodeManager
2380 DataNode
[root@node3 ~]# kill -9 9146
1
2
3
4
5
6