当前位置: article > 正文

Kafka常见参数_kafka batch.size

作者：煮酒与君饮 | 2024-08-19 04:03:28

踩

kafka batch.size

                        
                    参数名含义默认值解释
max.request.size生产端：最大请求字节大小1MB如果生产请求消息体大小大于该值，客户端生产时会报错
max.poll.records消费端：一次poll()请求最大拉取消息条数500条如果单条消息处理时间长，需要减少该参数值，反之增加
fetch.min.bytes消费端：一次poll()请求最小返回字节大小1增加该值可以提高吞吐量，同时也会产生一定延迟
fetch.max.bytes消费端：一次poll()请求最大返回字节大小50MB注意：若在第一个非空分区中拉取的第一条消息大于该值，消息仍会被返回
fetch.max.wait.ms消费端：返回消息大小不满足fetch.min.bytes时最长等待时间500ms与fetch.min.bytes参数共同作用
batch.sizelinear.ms与batch.size共同控制消息异步发送频率;当batch大小达到batch.size或满足linger.ms时间间隔时，消息16KB如果期望提高吞吐量，可以增加至 100000–200000；如果期望低生产时延，则建议使用默认值；
linger.mslinear.ms与batch.size共同控制消息异步发送频率;当batch大小达到batch.size或满足linger.ms时间间隔时，消息0如果希望提高吞吐量，可以增加至 10–100；如果期望低生产时延，则建议使用默认值
message.max.bytes服务端配置，控制服务端接受可的最大生产批次消息大小1MB如果生产请求消息体大小大于该值，服务端会返回错误响应；如果开启了消息压缩，则校验压缩后消息体大小
max.partition.fetch.bytes消费端：一次poll()请求每个分区最大返回字节大小1MB

参数名	含义	默认值	解释
max.request.size	生产端：最大请求字节大小	1MB	如果生产请求消息体大小大于该值，客户端生产时会报错
max.poll.records	消费端：一次poll()请求最大拉取消息条数	500条	如果单条消息处理时间长，需要减少该参数值，反之增加
fetch.min.bytes	消费端：一次poll()请求最小返回字节大小	1	增加该值可以提高吞吐量，同时也会产生一定延迟
fetch.max.bytes	消费端：一次poll()请求最大返回字节大小	50MB	注意：若在第一个非空分区中拉取的第一条消息大于该值，消息仍会被返回
fetch.max.wait.ms	消费端：返回消息大小不满足fetch.min.bytes时最长等待时间	500ms	与fetch.min.bytes参数共同作用
batch.size	linear.ms与batch.size共同控制消息异步发送频率;当batch大小达到batch.size或满足linger.ms时间间隔时，消息	16KB	如果期望提高吞吐量，可以增加至 100000–200000；如果期望低生产时延，则建议使用默认值；
linger.ms	linear.ms与batch.size共同控制消息异步发送频率;当batch大小达到batch.size或满足linger.ms时间间隔时，消息	0	如果希望提高吞吐量，可以增加至 10–100；如果期望低生产时延，则建议使用默认值
message.max.bytes	服务端配置，控制服务端接受可的最大生产批次消息大小	1MB	如果生产请求消息体大小大于该值，服务端会返回错误响应；如果开启了消息压缩，则校验压缩后消息体大小
max.partition.fetch.bytes	消费端：一次poll()请求每个分区最大返回字节大小	1MB

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/煮酒与君饮/article/detail/1000647