【kafka-01数据保留时间设置】_kafka数据存储时间

作者：菜鸟追梦旅行 | 2024-06-03 22:37:10

踩

kafka数据存储时间

kafka正确设置过期时间

- 背景
- 如何正确配置数据过期时间

背景

某天突然发现我的kafka中group_id消费记录不见了，特地查了下咋回事。众所周知新版本的kafka group_id消费的offset记录已经不存储在zookeeper上了，而是存储在__consumer_offsets 这个kafka内部自己管理的topic中，这个topic有50个分区。毫无疑问估计是group_id offset存储也应该是有时间过期值的，于是专门查了查。

如何正确配置数据过期时间

需要两个参数结合，且最好配置的时间是一样的，下面是例子

#存储一年
log.retention.hours=8760   ->数据过期时间
offsets.retention.minutes=525600 ->group_id offset的消费位点过期时间。 换算成小时也是一年


1
2
3
4
5

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/669201