MQ 如何保证消息的顺序性_mq顺序性

如何保证消息的顺序性

 

 

 

把所有数据按顺序写到一个queue中。

 

 

 

---------------------------------------------------->

 

 

kafka原理和rabbit类似， 要把需要按顺处理数据写到一个patition中，同时，如果想加快处理消息，可以胜消费者多线程去并发处理，比如下面的多线程内存队列，

因为如果是单线程，一秒可能只能处理几十条数据。 如果多线程序，消费者4核8G机器开32条线程，最高每少可以处理上千条数据。但每个对列中的数据也是一组有顺的。

 

 

个例子，我们以前做过一个mysql binlog同步的系统，压力还是非常大的，日同步数据要达到上亿。mysql -> mysql，常见的一点在于说大数据team，就需要同步一个mysql库过来，对公司的业务系统的数据做各种复杂的操作。

 

你在mysql里增删改一条数据，对应出来了增删改3条binlog，接着这三条binlog发送到MQ里面，到消费出来依次执行，起码得保证人家是按照顺序来的吧？不然本来是：增加、修改、删除；你楞是换了顺序给执行成删除、修改、增加，不全错了么。

 

本来这个数据同步过来，应该最后这个数据被删除了；结果你搞错了这个顺序，最后这个数据保留下来了，数据同步就出错了。

 

先看看顺序会错乱的俩场景

 

（1）rabbitmq：一个queue，多个consumer，这不明显乱了

（2）kafka：一个topic，一个partition，一个consumer，内部多线程，这不也明显乱了

 

那如何保证消息的顺序性呢？简单简单

 

（1）rabbitmq：拆分多个queue，每个queue一个consumer，就是多一些queue而已，确实是麻烦点；或者就一个queue但是对应一个consumer，然后这个consumer内部用内存队列做排队，然后分发给底层不同的worker来处理

 

（2）kafka：一个topic，一个partition，一个consumer，内部单线程消费，写N个内存queue，然后N个线程分别消费一个内存queue即可