CDC 数据入湖方案：MySQL ＞ Flink CDC + Schema Registry + Avro ＞ Kafka ＞ Hudi_如何指定入湖用avro

作者：小蓝xlanll | 2024-04-29 13:49:59

踩

如何指定入湖用avro

本文是《CDC 数据入湖方案：MySQL ＞ Flink CDC ＞ Kafka ＞ Hudi》的增强版，在打通从源端数据库到 Hudi 表的完整链路的前提下，还额外做了如下两项工作：

引入 Confluent Schema Registry，有效控制和管理上下游的 Schema 变更
使用 Avro 格式替换 Json，搭配 Schema Registry，可以抽离 Avro 中的 Schema 数据，减少了 Avro 消息的体积，提升传输速率

1. 环境准备

本文依旧使用 Debezium 官方提供的一个 MySQL Docker镜像，构建操作可参考其官方文档，使用的是其内置的 inventory 数据库；
本文需要搭建一个 Confluent Schema Registry，如果仅以测试为目的，建议使用 Confluent 提供的官方Docker镜像，构建操作可参考其

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/508077