flinkCDC使用_flink cdc所要使用的包

索引

flinkcdc 搭建 flinkcdc使用 flinkcdc demo

flink cdc 模板 flinkcdc连接mysql. flinkcdc配置 flinkcdc安装 flinkcdc实战 

概述

flinkCDC是一个jar包.

他的作用: 直接替你读取mysql某张表的history历史数据和最新的binlog.无缝连接后拼接成一张完整的表返回. 用于流处理 实时报表等实时任务.

他的价值: 如果不用flinkcdc. 你需要使用canal maxwell debezium等其他工具配置kafka,然后自己写flink解析,还要设计 hisotry(表之前有的数据) 和 update(binlog监听的数据) 无缝整合(binlog需要找到history同步时的binlogID 这里头涉及到 表锁 全局锁 可重复读事务).

无缝拼接 参考我另一篇文章(https://blog.csdn.net/qq_35515661/article/details/118721386?spm=1001.2014.3001.5501)

使用cdc步骤

1 mysql里面创建个有足够权限的账号.

2 mysql开启binlog等相关操作

3 flink安装flinkCDC jar包

mysql相关设置

因为flinkcdc目前是基于debezium开发的. 所以mysql怎么设置我们直接照抄debezium的官方文档即可.  下面链接 依次点击 1 2 3 即可找到对应操作文档.

// 注意 由于mysql不同版本命令有丁点区别,所以文档中某些操作报错请自己查询.