mq消息丢失、消费重复消费、消息积压问题_mq重复消费和消息丢失

我们在系统开发时往往会用到mq消息中间件，mq能帮我们进行系统间的解耦，能帮我们将系统进行异步化。例如以前开发一步一步都是串行的，使用mq可以将不需要及时处理的步骤通过消息发送到mq，然后让消费端处理消息实现异步。当在实际使用过程中会遇到各种问题，常见的有消息丢失、消息重复消费，消息积压等问题。

消息丢失

消息丢失可以分为几种情况，如

1.生产者发送消息的时候由于网络抖动或者mq异常导致消息没到mq导致消息丢失。

生产者发送消息时，采用同步发送或者异步发送方式，发送成功mq会返回结果，根据结果进行判断。

其中rocketmq有事务消息，利用事务消息可保证消息发送到mq中。

2.如果mq是主从或者集群模式，内部进行同步时，也会导致消息丢失，或者mq将消息写入磁盘中导致消息丢失。

通过设置mq配置参数，改成同步刷盘，

3.消费端异常导致消息消费失败。

消费端异常，在消费消息的时候通过返回不同结果状态，进行重试机制。

消息重复消费

防止消息重复消费就是要保证消息消费幂等性，就是多次消息消费和一次结果要是一样的。

保证幂等性有很多方式。

1.可以将消息中的id作为主键插入一张数据表，消费一条就插入一条，如果是同一条消息就会报主键冲突。这是利用数据库表进行幂等性。

2.利用redis的setnx也可以进行幂等性设计，没有的话设置成功并返回1，如果有对应的id设置不成功返回0.

消息积压问题

当消费端出现一段时间的异常，生产者还在不停的给mq发送消息，这时没有消息消费了，就会导致消息大量积压。处理方法可以多弄几台机器，配置消费端进行处理。如果对业务影响不大，可以先消费消息不进行业务处理。