当前位置:   article > 正文

kafka命令行操作_kafka启动kafka命令

kafka启动kafka命令

一站式Kafka工具:kcat

新老版本kafka命令行操作

啓動Kafka:
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

Kafka命令行操作

  1. 查看当前集群中已存在的主题topic
旧的方式
kafka-topics.sh --zookeeper bdphdp01:2181 --list
kafka-topics.sh --zookeeper bdphdp01:2181/kafka-bdpapp01 --list
新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
kafka-topics.sh --bootstrap-server 11.51.197.0:6667,11.51.197.1:6667,11.51.197.2:6667 --list
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  1. 创建topic
旧的方式
kafka-topics.sh --zookeeper bdpapp01:2181/kafka-bdpapp01-01 --create --replication-factor 1 --partitions 1 --topic test.1

新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 1 --topic test.1


--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  1. 删除主题
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t1 
  • 1
  1. 发送消息
生产者启动:

kafka-console-producer.sh --broker-list bdpapp01:9092 --topic test.1


消费者启动:

kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic test.1 --from-beginning
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  1. 查看主题详细信息
kafka-topics.sh --zookeeper bdphdp01:2181 --describe --topic test.1
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic test.1
  • 1
  • 2
  1. 查看consumer group操作
   新版本
    group列表,使用--list参数
    kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --list test.1
    kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --list test.1
    查看特定consumer group 详情,使用--group与--describe参数
    kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --group console-consumer-57168 --describe
    kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group hive1 --describe 
    删除consumer groups
    kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --delete --group g1 --group g2
    
   老版本
    kafka-consumer-groups.sh --zookeeper bdphdp01:2181 --group --list
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

当前2.0稳定版本kafka命令行基本操作

查看topic list

kafka-topics.sh --bootstrap-server bdpapp01:9092 --list

创建topic:

kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 2 --topic t101

生产数据:

kafka-console-producer.sh --bootstrap-server bdpapp01:9092 --topic t101

指定组消费:

kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --group g1

消费分区0:

kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --partition 0

查看topics:

kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic t101

查看groups:

kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group g1 --describe

删除topic:

kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t101

kafka2.8 无zookeeper版本命令行操作

啓動Kafka:

kafka home: /root/kafka/kafka
./kafka-storage.sh random-uuid
./kafka-storage.sh format -t 1v7SvQQqSSyWlsI6mJTADQ -c ../config/kraft/server.properties 
./kafka-server-start.sh ../config/kraft/server.properties 
./kafka-server-start.sh -daemon  ../config/kraft/server.properties 

broker-list:42.193.120.74:9092
参考:https://www.cnblogs.com/smartloli/p/14722529.html
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

Kafka命令行操作

  1. 查看当前集群中已存在的主题topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --list
  • 1
  1. 创建topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --create --replication-factor 1 --partitions 1 --topic test.1

--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  1. 删除主题
kafka-topics.sh --bootstrap-server 42.193.120.74:2181 --delete --topic test.1 
  • 1
  1. 发送消息
生产者启动:

kafka-console-producer.sh --broker-list 42.193.120.74:9092 --topic test.1 

消费者启动:

kafka-console-consumer.sh --bootstrap-server 42.193.120.74:9092 --topic test.1 --from-beginning
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  1. 查看主题详细信息
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --describe --topic test.1
  • 1
  1. 查看consumer group操作
group列表,使用--list参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --list test.1
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --list test.1
查看特定consumer group 详情,使用--group与--describe参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --group console-consumer-57168 --describe
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --group hive1 --describe 
删除consumer groups
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --delete --group g1 --group g2
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  1. 删除topic
kafka-topics.sh  --delete --zookeeper 42.193.120.74:2181 --topic __consumer_offsets
  • 1
  1. 通过kafka-dump-log.sh工具来查看metadata日志信息
./kafka-dump-log.sh --cluster-metadata-decoder --skip-record-metadata --files /tmp/kraft-combined-logs/\@metadata-0/*.log
  • 1
  1. 通过kafka-metadata-shell.sh来查看元数据信息,这个和Zookeeper Client操作很类似
./kafka-metadata-shell.sh --snapshot /tmp/kraft-combined-logs/\@metadata-0/00000000000000000000.log
  • 1
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/682244
推荐阅读
相关标签
  

闽ICP备14008679号