当前位置:   article > 正文

kafka修改服务器时间,Kafka笔记2--Kafka的服务端配置

kafka 修改时间rebalance 无法超时导致未移除

#指定 kafka集群中 broker 的全局编号,每一个 broker 的编号不能重复。

broker.id=0#Listeners 指明 broker 监听客户端连接的地址列表,即客户端要连接 broker 的入口地址列表,

#配置格式为protocol://hostname:port,多个地址中间以逗号隔开,

#其中 protocol 代表协议类型,Kafka 当前支持的协议类型有 PLAINTEXT、SSL、SASL_SSL 等,如果未开启安全认证,则使用简单的 PLAINTEXT 即可;

#hostname代表主机名,主机名最好不要为空,这里是 localhost;

#port 代表服务端口,producer或consumer将在此端口建立连接,这里是9092。

listeners=PLAINTEXT://localhost:9092

#advertised.listeners 主要用于 IaaS(Infrastructure as a Service)环境,

#若多块网卡包含私网网卡和公网网卡,配置 listeners 参数绑定私网IP地址供 broker 间通信使用,

#配置advertised.listeners 参数绑定公网IP供外部客户端使用,

advertised.listeners=PLAINTEXT://localhost:9092

#broker 处理网络请求的线程数量,也就是接收消息的线程数,一般情况下不需要去修改。

#接收线程会将接收到的消息放到内存中,然后再从内存中写入磁盘。

num.network.threads=3#消息从内存中写入磁盘时使用的线程数量。

#用来处理磁盘IO的线程数量。

num.io.threads=8#发送套接字的缓冲区大小。

socket.send.buffer.bytes=102400#接受套接字的缓冲区大小。

socket.receive.buffer.bytes=102400#请求套接字的缓冲区大小。

socket.request.max.bytes=104857600#kafka运行日志存放的路径

log.dirs=/usr/local/kafka/log/kafka

#topic在当前broker上的分片数

num.partitions=1#日志默认会被保留7天的时间,超时的话就会被清理,清理这件事情就需要有一些线程来做。

#这里就是用来设置恢复和清理data下数据的线程数量。

num.recovery.threads.per.data.dir=1#主题的副本数量

offsets.topic.replication.factor=1#事务主题的复制因子,设置更高以确保可用性。

transaction.state.log.replication.factor=1#覆盖事务主题的min.insync.replicas配置。

transaction.state.log.min.isr=1#接收线程会将接收到的消息放到内存中,然后再从内存写到磁盘上,

什么时候将消息从内存中写入磁盘,就有一个时间限制(时间阈值)和一个数量限制(数量阈值)

#这里设置的是数量阈值,消息的条数达到阈值,将触发flush到磁盘。下一个参数设置的则是时间阈值。

log.flush.interval.messages=10000#消息buffer的时间,达到阈值,将触发将消息从内存flush到磁盘,单位是毫秒。

log.flush.interval.ms=1000#日志文件保留的最长时间,单位小时,默认保留7天(168小时),超时将被删除。

log.retention.hours=168#topic 的分区是以一堆 segment 文件存储的,

#此参数控制日志文件中每个 segment 的大小,单位是字节,即默认为1G。

log.segment.bytes=1073741824#周期性检查文件大小的时间,单位是毫秒。

#即定期检查 segment 文件有没有达到1G(上一个参数)

log.retention.check.interval.ms=300000#zookeeper 的集群地址,可以是多个,多个地址之间用逗号隔开,

#broker需要使用 zookeeper 保存 meta 数据。

zookeeper.connect=localhost:2181#zookeeper 的连接超时时间

zookeeper.connection.timeout.ms=6000#在执行第一次再平衡之前,group 协调员将等待更多消费者加入 group 的时间。

#延迟时间越长意味着重新平衡的可能性越小,但是等待处理开始的时间增加。

group.initial.rebalance.delay.ms=0

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/AllinToyou/article/detail/125480
推荐阅读
相关标签
  

闽ICP备14008679号