kafka随笔_kafka数据过期参数

1.kafka设置消息过期时间
a） 进入kafka配置文件夹     

cd  /opt/kafka/config/

默认的是在server.properties 文件里面

b）需要修改和配置项如下：

log.retention.hours=168 (配置该参数即可)
log.cleanup.policy=delete （默认，可不配置）

c） 修改配置后重启kafka服务生效，kafka默认的消息过期时间为168h(7天)

该种设置消息过期时间的优点是可以对所有topic全部生效，缺点是需要重启kafka服务，造成服务短暂的不可用！

实际上，可以不停服针对kafka中数据量较大的topic可以单独设置过期时间，不受全局过期时间的限制，而且不需要重启kafka

下面以数据较多的 mytopic为例， 全局默认消息过期时间为7天，现在将其调整为1天

a） 进入kafka 的安装目录

cd /opt/kafka/bin

b) 执行设置命令
./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name 11 --entity-type topics --add-config retention.ms=86400000
时间设置一天 86400000ms = 1天
2.查看top消息的过期时间
./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name 11 --entity-type topics
2.kafka与其他队列的区别
kafka中的patition支持并发读取,并能保证有序行；其他队列可以有序的存储信息，也可以有序的发送信息，但是发送操作是异步操作，并发操作时，这就打乱了顺序。
3.创建kafka的topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
./kafka-topics.sh --list --zookeeper localhost:2181

4.重启kafka命令
./zookeeper-shell.sh 127.0.0.1:2181
  nohup ./kafka-server-start.sh ../config/server.properties &
或者命令行
  nohup ./zookeeper-server-start.sh ../config/zookeeper.properties &
  tail -f nohup.out 
  nohup ./kafka-server-start.sh ../config/server.properties &
 tail -f nohup.out 
 5.发送消息
 不要写localhost,要写清楚ip
 kafka-console-producer.sh --broker-list localhost:9092 --topic test
 kafka-console-producer.sh --broker-list 10.16.3.232:9092 --topic test
 6.启动消费者
  sh kafka-console-consumer.sh --bootstrap-server 10.16.3.232:9092 --topic test --from-beginning
 7.设置多代理群
 a.创建两个server配置文件
 cp config/server.properties config/server-1.properties
 cp config/server.properties config/server-2.properties
 
     onfig/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1
    config/server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dir=/tmp/kafka-logs-2

 b. 启动两个server
 bin/kafka-server-start.sh config/server-1.properties &
 bin/kafka-server-start.sh config/server-2.properties &
 c.创建⼀个副本为3的新topic
 ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic test1
 
查看topic详情
 bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test1
 sh kafka-console-producer.sh --broker-list 10.16.3.232:9092 --topic test1
 向新topic发送和消费信息
 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test1
  bin/kafka-console-consumer.sh --bootstrap-server 10.16.3.232:9092 --from-beginning --topic test1
 测试容错性
  关闭leader节点
 ps aux | grep server-1.properties
 kill -9 7564
 领导权已经切换到⼀个从属节点，⽽且节点1也不在同步副本集中了
  bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test1
  原先写⼊消息的leader已经不在，这些消息仍可用于消费
    bin/kafka-console-consumer.sh --bootstrap-server 10.16.3.232:9092 --from-beginning --topic test1
8.kafka connect导入导出数据
a.导入数据
创建topi cconnect-test
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
监听导入
bin/kafka-console-consumer.sh --bootstrap-server 10.16.3.232:9092 --topic connect-test --from-beginning
导入数据
bin/kafka-console-producer.sh --broker-list 10.16.3.232:9092 --topic connect-test < /usr/local/kafka_2.11-2.0.0/test.txt
b.导出数据

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
9.topic级别配置数据
定义的最大消息大小和刷新率创建了一个名为 my-topic 的topic
bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 1 --replication-factor 1 --config max.message.bytes=64000 --config flush.messages=1
使用alter命令更改配置
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --alter --add-config max.message.bytes=128000
查看覆盖值
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --describe
删除覆盖值
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --alter --delete-config max.message.bytes
10.kafka快的原因，kafka直接从pagecache中取数据，并发送到服务器，可以支持压缩传输和批量传输。
11.broker配置文件，vi /usr/local/kafka_2.11-2.0.0/config/server.properties
下列属性都在该配置文件中配置
## 是否允许控制器关闭broker ,若是设置为 true ,会关闭所有在这个broker上的leader，并转移到其他broker
controlled.shutdown.enable = false
 
## 控制器关闭的尝试次数
controlled.shutdown.max.retries = 3
 
## 每次关闭尝试的时间间隔
controlled.shutdown.retry.backoff.ms = 5000
 
## 是否自动平衡broker之间的分配策略
auto.leader.rebalance.enable = false
12.kafka-mirror-maker.sh脚本使用
bin/kafka-mirror-maker.sh
--consumer.config consumer.properties
--producer.config producer.properties --whitelist my-topic
13.消费组
查看kafka全部消费组
bin/kafka-consumer-groups.sh --bootstrap-server 10.16.3.232:9092 --list
查看消费组详情
bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group IotGroup