Debezium日常分享系列之：Debezium2.5稳定版本之MySQL连接器配置示例和Connector参数详解

一、MySQL 连接器配置示例

以下是连接器实例的配置示例，该实例从 192.168.99.100 端口 3306 上的 MySQL 服务器捕获数据，我们在逻辑上将其命名为 fullfillment。通常，您可以通过设置连接器可用的配置属性在 JSON 文件中配置 Debezium MySQL 连接器。

您可以选择为数据库中的架构和表的子集生成事件。或者，您可以忽略、屏蔽或截断包含敏感数据、大于指定大小或不需要的列。

{
    "name": "inventory-connector", （1）
    "config": {
        "connector.class": "io.debezium.connector.mysql.MySqlConnector", （2）
        "database.hostname": "192.168.99.100", （3）
        "database.port": "3306", （4）
        "database.user": "debezium-user", （5）
        "database.password": "debezium-user-pw", （6）
        "database.server.id": "184054", （7）
        "topic.prefix": "fullfillment", （8）
        "database.include.list": "inventory", （9）
        "schema.history.internal.kafka.bootstrap.servers": "kafka:9092", （10）
        "schema.history.internal.kafka.topic": "schemahistory.fullfillment",  （11）
        "include.schema.changes": "true"  （12）
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

• 1.注册到 Kafka Connect 服务时的连接器名称。
• 2.连接器的类名。
• 3.MySQL 服务器地址。
• 4.MySQL 服务器端口号。
• 5.具有适当权限的 MySQL 用户。
• 6.MySQL 用户的密码。
• 7.连接器的唯一 ID。
• 8.MySQL 服务器或集群的主题前缀。
• 9.由指定服务器托管的数据库列表。
• 10.连接器用于向数据库架构历史记录主题写入和恢复 DDL 语句的 Kafka 代理列表。
• 11.数据库架构历史主题的名称。本主题仅供内部使用，消费者不应使用。
• 12.指定连接器是否应生成 DDL 更改事件并将其发送到履行架构更改主题以供使用者使用的标志。

您可以使用 POST 命令将此配置发送到正在运行的 Kafka Connect 服务。该服务记录配置并启动一个执行以下操作的连接器任务：

• 连接到 MySQL 数据库。
• 在捕获模式下读取表的更改数据表。
• 流将事件记录更改为 Kafka 主题。

二、添加连接器配置

要开始运行 MySQL 连接器，请配置连接器配置，并将该配置添加到 Kafka Connect 集群。

先决条件

• MySQL 设置为与 Debezium 连接器一起使用。
• Debezium MySQL 连接器已安装。

程序

• 为 MySQL 连接器创建配置。
• 使用 Kafka Connect REST API 将该连接器配置添加到您的 Kafka Connect 集群。

结果

• 连接器启动后，它会对连接器配置的 MySQL 数据库执行一致的快照。然后，连接器开始生成行级操作的数据更改事件，并将更改事件记录流式传输到 Kafka 主题。

三、连接器属性

Debezium MySQL 连接器具有许多配置属性，您可以使用它们来为您的应用程序实现正确的连接器行为。许多属性都有默认值。有关属性的信息组织如下：

• 所需的连接器配置属性

• 高级连接器配置属性

• 数据库架构历史连接器配置属性，用于控制 Debezium 如何处理从数据库架构历史主题读取的事件。

  • 传递数据库架构历史属性

• 控制数据库驱动程序行为的传递数据库驱动程序属性。

四、必须的连接器配置属性

除非有默认值，否则需要以下配置属性。

五、高级 MySQL 连接器配置属性

下表描述了高级 MySQL 连接器属性。这些属性的默认值很少需要更改。因此，您不需要在连接器配置中指定它们。

表 24. MySQL 连接器高级配置属性的描述