基于redis过期监听实现定时关单以及对应的坑_rediskey过期监听的坑

最近有一个需求，是创建任务，然后任务有一个截止时间，到了截止时间，如果任务还没有完成，就实现自动审核。网上也有很多这种类似的实现方式了，依赖定时任务扫描数据库太简单太low了，今天搞搞别的方法，项目没有引入队列，那就只剩下redis监控过期key了。
原理是，算出截止时间到当前时间还有多久，当成key的过期时间，把待处理的任务id set进redis中，到期失效会被onMessage方法监听到，然后就走自己的逻辑判断任务是否已经被处理，没有被处理就进行业务处理，简单地一匹。又是提升自己的一天~~

0.修改redis客户端的配置文件

修改redis.windows.conf配置文件中notify-keyspace-events的值

默认配置notify-keyspace-events的值为 “” 修改为 notify-keyspace-events Ex 这样便开启了过期事件监听

1.创建配置类RedisListenerConfig

@Component
public class RedisListenerConfig {
    @Resource
    private RedisTemplate redisTemplate;
    /**
     * @return
     */
    @Bean
    public RedisTemplate redisTemplateInit() {
        // key序列化
        redisTemplate.setKeySerializer(new StringRedisSerializer());
        //val实例化
        redisTemplate.setValueSerializer(new GenericJackson2JsonRedisSerializer());
        return redisTemplate;
    }
    @Bean
    RedisMessageListenerContainer container(RedisConnectionFactory connectionFactory) {
        RedisMessageListenerContainer container = new RedisMessageListenerContainer();
        container.setConnectionFactory(connectionFactory);
        return container;
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

2.继承KeyExpirationEventMessageListener创建redis过期事件的监听类

@Slf4j
@Component
public class RedisKeyExpirationListener extends KeyExpirationEventMessageListener {
    public RedisKeyExpirationListener(RedisMessageListenerContainer listenerContainer) {
        super(listenerContainer);
    }
    @Resource
    private GiftQuantityTaskService giftQuantityTaskService;

    @Resource
    private StatusChangeService statusChangeService;

    @Resource
    private StringRedisTemplate stringRedisTemplate;


    public static final String DEADLINE_PREFIX="gift:quantity:deadline:task:";
    public static final String DEADLINE_Lock = "gift:quantity:deadline:lock:";

    /**
     * 针对redis数据失效事件，进行数据处理
     *
     * @param message
     * @param pattern
     */
    @Override
    public void onMessage(Message message, byte[] pattern) {
        try {
            //获取失效的key
            String key = message.toString();
            //截取主任务id，查询订单，如果是未填报状态则为-自动报量
            if (Objects.isNull(key) || !key.startsWith(DEADLINE_PREFIX)){
                return;
            }
            Boolean getKey = stringRedisTemplate.opsForValue().setIfAbsent(DEADLINE_Lock + key, String.valueOf(System.currentTimeMillis()),10, TimeUnit.SECONDS);
            //避免多个服务监听情况下重复消费
            if (!getKey){
                return;
            }
            Long taskId = Long.parseLong(key.substring(DEADLINE_PREFIX.length()));
            log.info("赠品报量报量截止时间自动填报开始,taskId:{}",taskId);
            GiftQuantityTask giftQuantityTask = giftQuantityTaskService.getById(taskId);

            //如果状态还是待填报需要自动报量，其他状态均不做处理
            if (Objects.isNull(giftQuantityTask)||!TaskStatusEnum.FILLING.getCode().equals(giftQuantityTask.getStatus())){
                return;
            }
            statusChangeService.fillingToAuditing(Collections.singletonList(giftQuantityTask));
            log.info("赠品报量报量截止时间自动填报成功，taskId:{}",taskId);
        } catch (Exception e) {
            e.printStackTrace();
            log.error("赠品报量报量截止时间自动填报异常：" + e.getMessage());
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

3.测试

通过redis客户端存一个有效时间为10s的任务：

10s后，Debug成功监听到失效的key

坑

后面了解了更多发现redis过期监听存在比较多的坑，建议更换使用Redisson的延迟队列实现，下面具体描述有哪些坑吧。

1.过期会有延迟

key的过期事件发布时机并不是当这个key的过期时间到了之后就发布，而是这个key在Redis中被清理之后，也就是真正被删除之后才会发布。所以根据redis过期key的两种清除策略

• 惰性清除。当这个key过期之后，访问时，这个Key才会被清除
• 定时清除。后台会定期检查一部分key，如果有key过期了，就会被清除

2.丢消息

Redis过期监听实现的发布订阅模式没有持久化机制，当消息发布到某个channel之后，如果没有客户端订阅这个channel，那么这个消息就丢了，并不会像MQ一样进行持久化，等有消费者订阅的时候再给消费者消费。

3.Redis的发布订阅模式消息消费只有广播模式

假如有多个服务实例同时监听redis key过期，那么他们都会得到通知并进行重复消费，需要额外增加lock防止重复消费

4.监听范围大

只能指定/不指定监听哪个库的所有的key，导致所有的key发生了事件都会被通知给消费者。没有针对性。