devbox
Monodyee
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

使用canal实现数据库（MySQL）和缓存（Redis）数据一致_数据库与redis一致性问题可使用canal

作者：Monodyee | 2024-06-16 18:34:03

赞

踩

数据库与redis一致性问题可使用canal
1、简介

        MySQL 和 Redis 如何保证数据一致性，目前大多讨论的是先更新Redis后更新MySQL，还是先更新MySQL 后更新Redis，这两种方式在实际的应用场景中都不能确保数据的完全一致性，在某些情况下会出现问题，本文介绍使用 Canal 工具，通过将自己伪装成MySQL的从节点，读取binlog 日志实现。

        Canal是用 Java开发的基于数据库增量日志解析，提供增量数据订阅 &消费的中间件。
目前 。 Canal主要支持了 MySQL的 Binlog解析，解析完成后才利用 Canal Client来处理获得
的相关数据。与此类似的组件还有 flink CDC 等。

2、canal 实现 MySQL 和 Redis 数据一致原理

        Canal 通过伪装成MySQL 的从节点，获取binlog 得到MySQL 修改内容，从而更新 Redis 缓存，保证MySQL 和 Redis 数据一致性。

3、canal 下载安装配置

注：实现主从复制，要保证 Master 节点的 binlog 功能要开启。

修改主节点 MySQL 的配置文件（MySQL8.0默认开启，且binlog_format默认为row）：

  1. # vim /etc/my.cnf
  2. [mysqld]
  3. server-id=1
  4. log-bin=test   # 自定义二进制日志文件名
  5. binlog_format=row
3.1、canal 下载 

        下载地址：Releases · alibaba/canal · GitHub，本文以 canal.deployer-1.1.7.tar.gz 为例搭建环境。

3.2、安装

          Canal 安装很简单，只要解压到指定的文件夹下就行。

  1. # 解压（需要提前创建好canal文件夹）
  2. tar -zxvf canal.deployer-1.1.7.tar.gz -C /opt/canal
3.3、配置文件
3.3.1、 Canal 的配置文件
  1. ######### 		common argument		#############
  2. # tcp bind ip
  3. canal.ip =
  4. # 默认端口为11111
  5. canal.port = 11111
  6. canal.metrics.pull.port = 11112
  7. # canal admin config
  8. #canal.admin.manager = 127.0.0.1:8089
  9. canal.admin.port = 11110
  10. canal.admin.user = admin
  11. canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
  12.  
  13. canal.zkServers =
  14. # flush data to zk
  15. canal.zookeeper.flush.period = 1000
  16. canal.withoutNetty = false
  17. # tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ
  18. # 默认为 tcp，支持以上几种mq的数据传输
  19. canal.serverMode = tcp
  20. # flush meta cursor/parse position to file
  21. canal.file.data.dir = ${canal.conf.dir}
  22. canal.file.flush.period = 1000
  23.  
  24. # binlog format/image check
  25. canal.instance.binlog.format = ROW,STATEMENT,MIXED 
  26. canal.instance.binlog.image = FULL,MINIMAL,NOBLOB
  27.  
  28. # binlog ddl isolation
  29. canal.instance.get.ddl.isolation = false
  30. canal.instance.parser.parallelBufferSize = 256
  31.  
  32. ######### 		destinations（canal 获取数据发送的目标地址）		#############
  33. canal.destinations = example
  34. # conf root dir
  35. canal.conf.dir = ../conf
  36. # auto scan instance dir add/remove and start/stop instance
  37. canal.auto.scan = true
  38. canal.auto.scan.interval = 5
  39. # set this value to 'true' means that when binlog pos not found, skip to latest.
  40. # WARN: pls keep 'false' in production env, or if you know what you want.
  41. canal.auto.reset.latest.pos.mode = false
  42.  
  43. canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml
  44. #canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml
  45.  
  46. canal.instance.global.mode = spring
  47. canal.instance.global.lazy = false
  48. canal.instance.global.manager.address = ${canal.admin.manager}
  49. #canal.instance.global.spring.xml = classpath:spring/memory-instance.xml
  50. canal.instance.global.spring.xml = classpath:spring/file-instance.xml
  51. #canal.instance.global.spring.xml = classpath:spring/default-instance.xml
  52.  
  53. ######### 		     Kafka 		     #############
  54. kafka.bootstrap.servers = 127.0.0.1:9092
  55. kafka.acks = all
  56. kafka.compression.type = none
  57. kafka.batch.size = 16384
  58. kafka.linger.ms = 1
  59. kafka.max.request.size = 1048576
  60. kafka.buffer.memory = 33554432
  61. kafka.max.in.flight.requests.per.connection = 1
  62. kafka.retries = 0
  63.  
  64. kafka.kerberos.enable = false
  65. kafka.kerberos.krb5.file = ../conf/kerberos/krb5.conf
  66. kafka.kerberos.jaas.file = ../conf/kerberos/jaas.conf
  67.  
  68. # sasl demo
  69. # kafka.sasl.jaas.config = org.apache.kafka.common.security.scram.ScramLoginModule required \\n username=\"alice\" \\npassword="alice-secret\";
  70. # kafka.sasl.mechanism = SCRAM-SHA-512
  71. # kafka.security.protocol = SASL_PLAINTEXT
  72.  
  73. ######### 		    RocketMQ	     #############
  74. rocketmq.producer.group = test
  75. rocketmq.enable.message.trace = false
  76. rocketmq.customized.trace.topic =
  77. rocketmq.namespace =
  78. rocketmq.namesrv.addr = 127.0.0.1:9876
  79. rocketmq.retry.times.when.send.failed = 0
  80. rocketmq.vip.channel.enabled = false
  81. rocketmq.tag = 
  82.  
  83. ######### 		    RabbitMQ	     #############
  84. rabbitmq.host =
  85. rabbitmq.virtual.host =
  86. rabbitmq.exchange =
  87. rabbitmq.username =
  88. rabbitmq.password =
  89. rabbitmq.deliveryMode =

        说明：这个文件是 canal的基本通用配置， canal端口号默认就是 11111 修改 canal的输出 model，默认 tcp。

3.3.2、实例的配置文件

        多实例配置，如果创建多个实例 通过前面 Canal 架构，我们可以知道，一个 Canal 服务中可以有多个 instance conf/下的每一个 example即是一个实例，每个实例下面都有独立的配置文件。默认只有一个实例 example，如果需要多个实例处理不同的 MySQL数据的话，直接拷贝出多个 example ，并对其重新命名，命名和配置文件中指定的名称一致，然后修改canal.properties中的 canal.destinations = 实例 1，实例 2，实例 3。

        到每个实例下面修改 instance.properties 文件。

  1. #################################################
  2. ## mysql serverId , v1.0.26+ will autoGen
  3. canal.instance.mysql.slaveId=12  # 集群中唯一就行
  4.  
  5. # enable gtid use true/false
  6. canal.instance.gtidon=false
  7.  
  8. # position info
  9. canal.instance.master.address=127.0.0.1:3306  # 主节点的ip和端口
  10. canal.instance.master.journal.name=
  11. canal.instance.master.position=
  12. canal.instance.master.timestamp=
  13. canal.instance.master.gtid=
  14.  
  15. # rds oss binlog
  16. canal.instance.rds.accesskey=
  17. canal.instance.rds.secretkey=
  18. canal.instance.rds.instanceId=
  19.  
  20. # table meta tsdb info
  21. canal.instance.tsdb.enable=true
  22. #canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
  23. #canal.instance.tsdb.dbUsername=canal
  24. #canal.instance.tsdb.dbPassword=canal
  25.  
  26. #canal.instance.standby.address =
  27. #canal.instance.standby.journal.name =
  28. #canal.instance.standby.position =
  29. #canal.instance.standby.timestamp =
  30. #canal.instance.standby.gtid=
  31.  
  32. # username/password
  33. canal.instance.dbUsername=root  # Master 数据库用户名
  34. canal.instance.dbPassword=123456 # Master 数据库密码
  35. canal.instance.connectionCharset = UTF-8
  36. # enable druid Decrypt database password
  37. canal.instance.enableDruid=false
  38. #canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==
  39.  
  40. # mq config
  41. canal.mq.topic=example
  42. # dynamic topic route by schema or table regex
  43. #canal.mq.dynamicTopic=mytest1.user,topic2:mytest2\\..*,.*\\..*
  44. canal.mq.partition=0
  45. # hash partition config
  46. #canal.mq.enableDynamicQueuePartition=false
  47. #canal.mq.partitionsNum=3
  48. #canal.mq.dynamicTopicPartitionNum=test.*:4,mycanal:6
  49. #canal.mq.partitionHash=test.table:id^name,.*\\..*
  50. #
  51. # multi stream for polardbx
  52. canal.instance.multi.stream.on=false
  53. #################################################
3.4、canal 启动

运行 bin/start.sh

注：如果jdk版本过高，本文用的是 jdk17 版本，canal 目前基于 jdk 11，因此会出现如下错误：

产生原因：

1）、-XX:+AggressiveOpts，这个参数在11的版本已经被废弃了，并在之后的版本会删除；

2）、-XX:+UseBiasedLocking，这个参数在15的版本被废弃了，这个偏向锁已经被废弃了。

解决方法：

修改启动文件（vim  bin/start.sh），将下图中标注的两个参数删除，先 bin/stop.sh，然后再 bin/start.sh 即可：

4、canal 在tcp 模式下的测试
4.1、引入依赖
  1. <dependency>
  2. 	<groupId>com.alibaba.otter</groupId>
  3. 	<artifactId>canal.client</artifactId>
  4. 	<version>1.1.6</version>
  5. </dependency>
  6. <dependency>
  7. 	<groupId>com.alibaba.otter</groupId>
  8. 	<artifactId>canal.protocol</artifactId>
  9. 	<version>1.1.6</version>
  10. </dependency>
4.2、编写客户端代码
  1. import com.alibaba.fastjson2.JSONObject;
  2. import com.alibaba.otter.canal.client.CanalConnector;
  3. import com.alibaba.otter.canal.client.CanalConnectors;
  4. import com.alibaba.otter.canal.protocol.CanalEntry;
  5. import com.alibaba.otter.canal.protocol.Message;
  6. import com.google.protobuf.ByteString;
  7. import com.google.protobuf.InvalidProtocolBufferException;
  8. import java.net.InetSocketAddress;
  9. import java.util.List;
  10.  
  11. public class CanalClient {
  12.     public static void main(String[] args) throws InvalidProtocolBufferException {
  13.         //1.获取canal 连接对象
  14.         CanalConnector canalConnector = CanalConnectors.newSingleConnector(new InetSocketAddress("192.168.30.89", 11111), "example", "", "");
  15.         while (true) {
  16.             //2.获取连接
  17.             canalConnector.connect();
  18.             // 指定要监控的数据库
  19.             canalConnector.subscribe("test.*");
  20.             // 获取 Message
  21.             Message message = canalConnector.get(100);
  22.             List<CanalEntry.Entry> entries = message.getEntries();
  23.             if (entries.size() <= 0) {
  24.                 System.out.println(" 没有数据，休息一会");
  25.                 try {
  26.                     Thread.sleep(1000);
  27.                 } catch (InterruptedException e) {
  28.                     e.printStackTrace();
  29.                 }
  30.             } else {
  31.                 for (CanalEntry.Entry entry : entries) {
  32.                     // 获取表名
  33.                     String tableName = entry.getHeader().getTableName();
  34.                     CanalEntry.EntryType entryType = entry.getEntryType();
  35.                     // 判断 entryType 是否为 ROWDATA
  36.                     if (CanalEntry.EntryType.ROWDATA.equals(entryType)) {
  37.                         // 序列化数据
  38.                         ByteString storeValue = entry.getStoreValue();
  39.                         //反序列化
  40.                         CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue);
  41.                         //获取事件类型
  42.                         CanalEntry.EventType eventType = rowChange.getEventType();
  43.                         // 获取具体的数据
  44.                         List<CanalEntry.RowData> rowDatasList =
  45.                                 rowChange.getRowDatasList();
  46.                         // 遍历并打印数据
  47.                         for (CanalEntry.RowData rowData : rowDatasList) {
  48.                             List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList();
  49.                             JSONObject beforeData = new JSONObject();
  50.                             for (CanalEntry.Column column : beforeColumnsList) {
  51.                                 beforeData.put(column.getName(), column.getValue());
  52.                             }
  53.                             JSONObject afterData = new JSONObject();
  54.                             List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();
  55.                             for (CanalEntry.Column column : afterColumnsList) {
  56.                                 afterData.put(column.getName(), column.getValue());
  57.                             }
  58.                             System.out.println("TableName:" + tableName + ",EventType:" + eventType + ",After:" + beforeData + ",After:" + afterData);
  59.                         }
  60.                     }
  61.                 }
  62.             }
  63.         }
  64.     }
  65. }
4.3、测试结果

插入一条数据：

 监听结果：

 5、总结

         本文介绍一种解决数据一致性的方案，通过MySQL 的主从复制实现，数据库和缓存一致性。canal 可以实现将结果发送到 mq操作，还支持高可用集群部署，这部分内容将在公众号中分享，关注下面公众号，学到更多知识。

        本人是一个从小白自学计算机技术，对运维、后端、各种中间件技术、大数据等有一定的学习心得，想获取自学总结资料（pdf版本）或者希望共同学习，关注微信公众号：it自学社团。后台回复相应技术名称/技术点即可获得。（本人学习宗旨：学会了就要免费分享）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/727790
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号