MYSQL 同步到ES 如何设计架构保持一致性_es和mysql数据一致性

简单使用某个组件很容易，但是一旦要搬到生产上就要考虑各种各样的异常，保证你方案的可靠性，可恢复性就是我们需要思考的问题。今天来聊聊我们部门在 MYSQL 同步到ES的方案设计。

在面对复杂条件查询时，MYSQL往往显得力不从心，一般公司的做法会通过将mysql中的数据同步到ES，之后的查询就通过ES进行查询，ES在面对多条件复杂查询时，能较快的查询出结果集。

在MYSQL数据 到ES中的数据同步 方案设计上，就有多种选择，

1，最简单的便是直接在业务代码中对数据库进行修改，插入，删除时，同步修改ES中的数据。 但这种方案也是最不可靠的一种设计。在写入MYSQL后，业务服务宕机了，ES数据就会丢失。如果写入ES失败，重试逻辑将会嵌套在业务代码中，业务代码复杂性增加了，并且如果一直失败，要一直重试吗？

所以，对于这种方案，直接pass掉了。

2，第二种同步方案则是业界用的比较多的同步方案，通过binlog进行同步，目前业界已经有比较成熟的模拟mysql从库，拉取binlog的组件，例如阿里开源的canal。整个同步架构如下所示，canal组件充当mysql从库的角色，将mysql的binlog拉取下来，由客户端从canal拉取消息进行消费，再由客户端主动插入或者更新ES中的数据。

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】