赞
踩
背景:我在工作中遇到了需求,报表相关的,同时用到了mysql和ES来存储和查询。在页面查询的时候,mysql和ES的字段名存在不一致,数据是从ES查的,也会在mysql里存储。这种情况下,就有必要保证数据库与ES的一致性。
下面记录4种实现方案。
从性能和耗费时间来区分,分为同步双写与异步双写。
原因是把数据写到mysql的同时,把数据写到ES,也就是实时写入,所以写入速度会非常快)
1、性能低。也是因为把数据写到mysql的同时,把数据写到ES,写入两个存储,系统的响应时间会变长,所以性能下降
2、存在丢数据风险。如果写入失败,mysql和ES里就都没有数据了。
比如通过ONS消息队列进行异步。生产者往topic里发消息,消费者按照时间顺序来依次消费。
而且数据不容易丢失(即使写入失败,还能重新消费消息)
1、消息队列需要引入消息中间件,增加了系统的复杂度
2、消费者按照时间顺序来消费,所以发消息多的时间(比如业务高峰期),用户写入的数据是没法马上看到的,会有延时
设置固定的时间节点(如每天23点), 或是时间间隔(如每隔2h)把数据库的数据同步到ES中。
使用mysql的复制功能,将数据库的数据复制到ES
1、保证数据库和ES数据一致
2、实时的,延时很小
增加数据库的读取压力,降低性能
参考文章
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。