使用Canal同步mysql数据到es_canal 同步数据 从mysql到 es

一、简介

Canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

二、工作原理

MySQL主备复制原理

• MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)

• MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)

• MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

  canal 工作原理

• canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议

• MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )

• canal 解析 binary log 对象(原始为 byte 流)

  三、准备安装包

  下载地址，我使用的是1.1.6版本 https://github.com/alibaba/canal/releases/tag/canal-1.1.6 国内的话，可以在绿色聊天软件搜索：程序员朱永胜 关注回复1006领取安装包，不限速下载

• deployer包：服务包

• admin包：UI管理系统，需要的话可以下载

• adapter包：官方提供的客户端，可以实现自动同步

  四、启动Canal服务

  4.1 下载

  最简单的使用，我们只需要安装deplyee包即可，其他的不需要

  4.2 新增用户并授权

  4.3 配置文件修改

  4.3.1 canal.properties

  这个配置文件默认即可，无需修改配置

  4.3.2 instance.properties

  修改mysql地址，要确保已经配置了账号密码并授权

  4.4 启动

  

  4.5 确认启动成功

  

  五、安装依赖

  <dependencies>
    <dependency>
        <groupId>com.alibaba.otter</groupId>
        <artifactId>canal.client</artifactId>
        <version>1.1.4</version>
    </dependency>
  </dependencies>
  1
  2
  3
  4
  5
  6

  六、运行效果

  由于代码比较长，我放到最后了，这里先说下效果。 代码启动后，我们只需要变更任意表里面的数据即可看到控制台打印内容。 数据很清晰，有具体的数据库，表，操作类型，以及字段及修改的值。 到这里基本就算结束了，后续就是根据业务自己推送到ES中。当然，也可以使用官方的adapter推送到ES中。

  七、编写客户端代码

  测试代码官网地址：https://github.com/alibaba/canal/blob/master/example/src/main/java/com/alibaba/otter/canal/example/AbstractCanalClientTest.java 国内的话，可以在绿色聊天软件搜索：程序员朱永胜 关注回复1007领取代码，不限速下载

  6.1 BaseCanalClientTest

  6.2 SimpleCanalClientTest

  6.3 AbstractCanalClientTest