什么是Flink CDC，以及如何使用_flinkcdc，2024年最新2024最新大数据开发开发者学习路线

CDC介绍

数据库中的CDC（Change Data Capture，变更数据捕获）是一种用于实时跟踪数据库中数据变化的技术。CDC的主要目的是在数据库中捕获增量数据，以便在需要时可以轻松地将这些数据合并到其他系统或应用程序中。CDC在数据库管理、数据同步、数据集成和数据备份等方面具有广泛的应用。

CDC通常通过以下几种方式实现：

1. 基于触发器的CDC：在表上创建触发器，当数据发生更改时，触发器会将更改的数据记录到其他系统或表中。
2. 基于事务日志的CDC：通过读取数据库事务日志，将日志中的更改记录解析为可操作的数据。这种方法通常用于增量备份和恢复。
3. 基于游标的CDC：在数据库中使用游标，逐行处理数据更改，并将这些更改应用于其他系统或表。
4. 基于时间戳的CDC：为表中的每个数据行分配一个时间戳，当数据发生更改时，更新相应的时间戳。然后，可以使用时间戳来识别和处理数据更改。
5. 基于消息队列的CDC：将数据更改作为事件发送到消息队列，以便其他系统或应用程序可以订阅和处理这些事件。

Flink CDC

Flink CDC（Change Data Capture，即数据变更抓取）是一个开源的数据库变更日志捕获和处理框架，它可以实时地从各种数据库（如MySQL、PostgreSQL、Oracle、MongoDB等）中捕获数据变更并将其转换为流式数据。Flink CDC 可以帮助实时应用程序实时地处理和分析这些流数据，从而实现数据同步、数据管道、实时分析和实时应用等功能。

Flink CDC 的主要特点包括：

1. 支持多种数据库类型：Flink CDC 支持多种数据库，如 MySQL、PostgreSQL、Oracle、MongoDB 等。
2. 实时数据捕获：Flink CDC 能够实时捕获数据库中的数据变更，并将其转换为流式数据。
3. 高性能：Flink CDC 基于 Flink 引擎，具有高性能的数据处理能力。
4. 低延迟：Flink CDC 可以在毫秒级的延迟下处理大量的数据变更。
5. 易集成：Flink CDC 与 Flink 生态系统紧密集成，可以方便地与其他 Flink 应用程序一起使用。
6. 高可用性：Flink CDC 支持实时备份和恢复，确保数据的高可用性。

适用于场景？

Flink CDC 可以用于各种场景，如：

1. 实时数据同步：将数据从一个数据库实时同步到另一个数据库。
2. 实时数据管道：构建实时数据处理管道，处理和分析数据库中的数据。
3. 实时数据分析：实时分析数据库中的数据，提供实时的业务洞察。
4. 实时应用：将数据库中的数据实时应用于实时应用程序，如实时报表、实时推荐等。
5. 实时监控：实时监控数据库中的数据，检测异常和错误。

Flink CDC 的简单用例

数据库配置

创建数据库和相应的表

创建mydb数据库，并创建user表

create database mydb;
create table user(
id bigint primary key auto_increment,
name varchar(255)
);
INSERT INTO mydb.user (name) VALUES (‘小明’);
INSERT INTO mydb.user (name) VALUES (‘小红’);

创建了一个名为 mydb 的数据库，并在其中创建了一个名为 user 的表。表中包含一个主键 id 和一个字符串类型的 name 字段。还向 user 表中插入了两条记录，分别是 '小明' 和 '小红'。

开启mysql数据库bin-log日志

1.如果是服务器

在my.cnf中添加binlog配置,并重启mysql数据库

server-id = 123
log_bin = mysql-bin
binlog_format = row
binlog_row_image = full
expire_logs_days = 10
gtid_mode = on
enforce_gtid_consistency = on

已经为 MySQL 设置了一些配置参数。下面是对这些参数的解释：

1. server-id = 123：指定服务器的唯一标识符，通常用于区分不同的数据库服务器。
2. log_bin = mysql-bin：启用二进制日志记录，以便在数据库出现故障时可以恢复数据。
3. binlog_format = row：指定二进制日志的记录格式。row 格式会记录每个更改行的详细信息，这对于需要事务完整性的应用程序非常有用。
4. binlog_row_image = full：设置 row 格式的二进制日志记录行的完整信息，包括列值、注释等。这有助于提高应用程序的可恢复性。
5. expire_logs_days = 10：设置自动清理过期二进制日志文件的天数。在这个例子中，设置为 10 天。
6. gtid_mode = on：启用全局事务 ID 模式，这使得基于 GTID 的复制成为可能。
7. enforce_gtid_consistency = on：强制执行 GTID 一致性，确保事务在不同的 MySQL 实例之间保持一致。

2.如果在Windows使用小皮

在小皮面板里设置，如图：

打开bin日志开关

搭建Flink CDC java环境

添加maven相关pom

在pom里添加相关Flink CDC依赖

org.apache.flink flink-connector-base 1.14.4 com.ververica flink-sql-connector-mysql-cdc 2.3.0 org.apache.flink flink-streaming-java_2.11 1.14.4 org.apache.flink flink-clients_2.12 1.14.4 org.apache.flink flink-runtime-web_2.12 1.14.4 org.apache.flink flink-table-runtime_2.11 1.14.4 ch.qos.logback logback-classic 1.2.11 org.slf4j slf4j-api 2.0.6

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-bY1aOH4M-1712551558572)]