凡人多烦事01

这个屌丝很懒，什么也没留下！

热门标签

kafka常用命令_查看kafka jvm情况

作者：凡人多烦事01 | 2024-05-31 13:22:42

踩

查看kafka jvm情况

  ============================================================================= 

 
 启动命令： 

  cd ${KAFKA_HOME} 

  bin/kafka-server-start.sh config/server.properties >> kafka_logs/kafka_log 2>&1 & 

  ============================================================================= 

 
 停止命令 

  cd ${KAFKA_HOME} 

  bin/kafka-server-stop.sh config/server.properties >> kafka_logs/kafka_log 2>&1 & 

  ============================================================================= 

 
 查看当前服务器中的所有topic 

  cd ${KAFKA_HOME} 

  bin/kafka-topics.sh --list --zookeeper  BDI5:2181,BDI6:2181,BDI7:2181 

  ============================================================================= 

 
 创建topic 

  cd ${KAFKA_HOME} 

  bin/kafka-topics.sh --create --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --replication-factor 3 --partitions 5 --topic topic_name 

  ============================================================================= 

 
 删除topic 

  cd ${KAFKA_HOME} 

  bin/kafka-topics.sh --delete --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --topic topic_name 

  需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。 

  ============================================================================= 

 
 通过shell命令发送消息  

  cd ${KAFKA_HOME} 

  bin/kafka-console-producer.sh --broker-list 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 --topic ETE_SERV_8110000_TEST 

  ============================================================================= 

 
 通过shell消费消息，直连 

  cd ${KAFKA_HOME} 

  bin/kafka-console-consumer.sh --bootstrap-server 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 --topic ETE_SERV_8110000 --from-beginning 

  ============================================================================= 

 
 8. 获取指定consumer group的位移信息  

 
 bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets  
 --partition 55 
  --broker-list 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 
  --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" 

  ============================================================================= 

 
 通过zookeeper 

  cd ${KAFKA_HOME} 

  bin/kafka-console-consumer.sh --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --from-beginning --topic ETE_SERV_8110000_TEST 

  ============================================================================= 

 
 查看某个Topic的详情 

  cd ${KAFKA_HOME} 

  bin/kafka-topics.sh --topic ETE_SERV_8110000_TEST --describe --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 

  ============================================================================= 

 
 查看数据消费情况 

  bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --group spark-streaming 

  bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group dktus --topic ETE_SERV_8110000  --zookeeper BDI5:2181,BDI6:2181,BDI7:2181/highkafka 

  bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --group logstash 

 
 bin/kafka-consumer-groups.sh --bootstrap-server BDI10:9093 
  --describe --group dktus 

  ============================================================================= 

 
 GROUP     TOPIC     PID       OFFSET             LOGSIZE   LAG 

 
 消费者组  话题id    分区id    当前已消费的条数   总条数    未消费的条数 

  ============================================================================= 

 
 查看最大的offset 

  bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic ETE_SERV_8110000 --time -1 --broker-list 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 

  ============================================================================= 

 
 通过zookeeper监控kafka集群存活情况 

  cd ${ZK_HOME} 

  bin/zkCli.sh 

  查看broker存活节点： ls /brokers/ids 

  查看kafka的topics： ls /brokers/topics 

  ============================================================================= 

 
 压力测试 

  bin/kafka-producer-perf-test.sh --topic test11 --num-records 10000000 --record-size 1000 --throughput 10000000 --producer-props bootstrap.servers=10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 batch-size=200 compression-codec=1 

  ============================================================================= 

 
 修改topic分区，只能增加分区 

  bin/kafka-topics.sh --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --alter --topic sgn_data --partitions 10 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/652553