赞
踩
debezium-json 格式有一种非常典型的应用场景,就是:上游(Source)是一张使用 Flink CDC 接入的关系数据库中的表,下游(Sink)是一张创建在 Kafka 上的表,这张表的 format 往往会定义为 debezium-json,以便 Flink 能获得全面的 CDC 信息用于流上的实时处理,这种场景我们在 《Flink CDC 与 Kafka 集成:Snapshot 还是 Changelog?Upsert Kafka 还是 Kafka?》 一文的 ”测试组合(1):connector=kafka,format=debezium-json“ 一节给出了完整的参考案例。
但这会容易让人产生一个疑惑:是不是只有上游是 Flink CDC 或 Debezium 采集的数据,下游才能使用 debezium-json 格式呢?也就是说: debezium-json 格式是 CDC 数据的专属格式吗?这个问题其实很重要,它能深刻揭示动态表、changelog 流和数据格式之间的关系。
我们通过试验来验证一下吧!这个试验是这样设计的,完成这样一个写入链路:
MySQL => Flink CDC => 动态表-A (connector=upsert-kafka,format=json) => 动态表-B (connector=kafka,format=debezium-json)
如果说 debezium-json 格式只能应用于 CDC 数
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。