flink cdc实践_snapshot.locking.mode

flink 1.12.1
flink-cdc 1.2.0
mysql 7+

最近使用公司的大数据平台做实时ETL，发现平台提供的实时消费binlog到kafka的服务有点坑，莫名其妙失败重启，日志也没有效的信息，于是打算另辟蹊径。主要考虑能控制整个流程，能查看完整日志，不新增技术栈，最好还是基于flink，于是选择了flink-cdc，它底层基于debezium。

• sterp 1
  首先需要确保MySQL开启binlog，并且有采集binlog的全限

#需要的mysql配置
log-bin = on #开启BINLOG
binlog-format = ROW #选择ROW模式
gtid_mode = ON #开启GTID

#可以使用数据库用户执行以下命令确认是否有采集binlog全限
#1、是否打开binlog特性，on表示开启
show global variables where Variable_name = 'log_bin'
#2、是否为row模式，row表示已开启row模式
show global variables where Variable_name = 'binlog_format'
#3、是否打开gtid特性，on表示开启
show global variables where Variable_name = 'gtid_mode'
1
2
3
4
5
6
7
8
9
10
11