FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式_flink cdc pgsql

Flinkcdc sql的方式同步PG数据库在之前已经详细介绍过，但是有一个问题就是每个表需要占用一个slot ，如果表比较多的情况用这种方法就不妥，于是我们开发了一套通用的PG数据库表同步工具。

关键点：通过简单配置实现表数据实时同步，DDL表结构同步功能。

完整的项目代码在我介绍完后放到git上 ，供大家参考纠正。

配置文件介绍：只需要一个配置文件可以实现多个库 多个表的实时同步，简单吧 ！！

DDL 数据同步的原理是 创建一个触发器，当原表结构有变化时会将结构变化的语句保存到触发器创建的表中，再利用Flinkcdc的数据同步方法，把变化的sql语句在结果库创建一遍。

#pg数据库源库表配置信息
source_hostname=172.*******
source_port=65**
source_database=db_****test
# 模式列表，多个模式逗号隔开
source_schemaList=*****e,public
# 表列表，要加上模式名字，多个表用逗号隔开
source_tableList=public.hwdrs_ddl_info
source_username=s**
source_password=67*****
#源表跟目的表结构映射,=前面为源表,=后面为目标表,其中public.hwdrs_ddl_info表存放DDL变化语句
source_goal=public.hwdrs_ddl_info=public.hwdrs_ddl_info,b*****e.test=h****.test
#目标数据库配置信息
goal_username=p****
goal_pa