【大数据】Flink CDC 的概览和使用_flinkcdc

1.什么是 CDC

CDC（Change Data Capture，数据变更抓取）是一种用于跟踪数据库中数据更改的技术。它用于监视数据库中的变化，并捕获这些变化，以便实时或定期将变化的数据同步到其他系统、数据仓库或分析平台。CDC 技术通常用于数据复制、数据仓库更新、实时报告和数据同步等场景。

CDC 可以捕获数据库中的以下类型的数据变化：

• ✅ 插入（Insert）：当新数据被插入到数据库表中时。
• ✅ 更新（Update）：当数据库表中的现有数据被修改时。
• ✅ 删除（Delete）：当数据从数据库表中被删除时。

2.什么是 Flink CDC

Flink CDC 是一个开源的数据库变更日志捕获和处理框架，它可以实时地从各种数据库（如 MySQL、PostgreSQL、Oracle、MongoDB 等）中捕获数据变更并将其转换为流式数据。Flink CDC 可以帮助实时应用程序实时地处理和分析这些流数据，从而实现 数据同步、数据管道、实时分析 和 实时应用 等功能。

本质上是一系列的 Flink Source Connector 集合，用于来获取数据库的实时变更，底层基于 Debezium 实现。