Oh! Binlog还能这样用之Canal篇_canal binlog

背景

不知道是否你还在为下面的问题而困扰：

•当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。•当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。•当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据库的还好，如果是不同数据库就不能保证事务，那么数据一致性也是个问题，就会写很多的修复Job和检查Job。

这些问题相信在很多同学的业务当中应该都遇到过，也可能因为这些问题常常增加了很多的工作量或者导致一些数据不一致的故障。那么我们怎么才能比较简单的解决这些问题呢？

我们想一想这个问题的本质是什么呢？就是需要保证我们的数据不论在redis还是在es都要和我们的mysql一致，本质上是数据的复制。一想到数据的复制，熟悉Mysql的朋友就会说到：Mysql的主备不也是数据复制吗？如果我们模仿Mysql的主备复制，那我们数据同步那么就会很容易了。

Mysql主从

既然我们可以模仿Mysql的主从复制来完成我们的需求，那么我们需要先了解一下mysql主从的原理，如下图所示：

•Stpe 1: 作为master的mysql需要在每个事务更新数据完成之前，将该操作记录串行地写入到binlog文件中，存储在本地磁盘中。

•Step 2: 在我们的salve服务器中开启一个I/O Thread，它会不断的从binlog中读取如果读取。如果进度已经跟上了master，就进入睡眠状态并等待master产生新的事件。所有读取的数据都会写到Relay log（中继日志）中。•Step 3：SQL Thread会读取中继日志，并顺序执行该日志中的SQL事件，从而与主数据库中的数据保持一致。

在主从复制中过程中，其中最为重要的就是binlog，从库会根据binlog的信息从而来复制出一份主库的数据。

如果我们能在业务代码中拿到binlog，通过binlog的数据，复制到redis或者es中，那我们就完全不用担心数据的一致性的问题了。

binlog

binlog(Binary Log)顾名思义就是Mysql中二进制的日志，记录了Mysql对数据库执行更改的所有操作。binlog也是server层产生的日志和我们的存储引擎没有关系，不论你使用哪种存储引擎，都可以使用我们的binlog。

binlog格式

在binlog中有三种格式，分别是：Statement，Row, Mixed三种，可以通过show va