devbox
神奇cpp
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Flink-CDC增量数据同步_flink cdc 增量同步

作者：神奇cpp | 2024-07-30 04:38:30

赞

踩

flink cdc 增量同步

1、介绍

1.1 什么是CDC

CDC是Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

1.2 CDC的种类

CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：

基于查询的CDC

基于Binlog的CDC

开源产品

Sqoop、Kafka JDBC Source

Canal、Maxwell、Debezium

执行模式

Batch

Streaming

是否可以捕获所有数据变化

否

是

延迟性

高延迟

低延迟

是否增加数据库压力

是

否

1.3 Flink-CDC

Flink社区开发了 flink-cdc-connectors 组件，这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。目前也已开源，

基于 Flink SQL CDC的实时数据同步方案

开源地址：GitHub - ververica/flink-cdc-connectors: CDC Connectors for Apache Flink®

2、Flink-CDC部署

2.1、开启MySQL Binlog

  1. vim /etc/my.cnf
  2.  
  3. [mysqld]
  4. # 数据库id
  5. server-id = 1
  6.  
  7. # 启动 binlog
  8. log-bin=mysql-bin
  9.  
  10. # binlog 类型
  11. binlog_format=row
  12.  
  13. # 启动binlog的数据库
  14. binlog-do-db=tms01

这里是利用MySQL的主从复制原理，将自身伪装成MySQL的一个从节点，从主节点中获取得到数据的增删改查的信息，做到对MySQL数据的增量同步。

2.2、DataStream方式的应用

写Flink代码，其中引入了CDC的依赖，然后打成jar包提交到服务器的Flink上运行。

2.2.1、导入依赖

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0"
  3.          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  4.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  5.     <modelVersion>4.0.0</modelVersion>
  6.  
  7.     <groupId>com.admin</groupId>
  8.     <artifactId>tms-realtime</artifactId>
  9.     <version>1.0-SNAPSHOT</version>
  10.  
  11.  
  12.     <properties>
  13.         <maven.compiler.source>8</maven.compiler.source>
  14.         <maven.compiler.target>8</maven.compiler.target>
  15.         <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  16.         <java.version>1.8</java.version>
  17.         <flink.version>1.16.1</flink.version>
  18.         <scala.version>2.12</scala.version>
  19.         <hadoop.version>3.3.4</hadoop.version>
  20.         <flink-cdc.version>2.3.0</flink-cdc.version>
  21.     </properties>
  22.  
  23.     <dependencies>
  24.         <dependency>
  25.             <groupId>org.apache.flink</groupId>
  26.             <artifactId>flink-java</artifactId>
  27.             <version>${flink.version}</version>
  28.         </dependency>
  29.  
  30.         <dependency>
  31.             <groupId>org.apache.flink</groupId>
  32.             <artifactId>flink-streaming-java</artifactId>
  33.             <version>${flink.version}</version>
  34.         </dependency>
  35.  
  36.         <dependency>
  37.             <groupId>org.apache.flink</groupId>
  38.             <artifactId>flink-connector-kafka</artifactId>
  39.             <version>${flink.version}</version>
  40.         </dependency>
  41.  
  42.         <dependency>
  43.             <groupId>com.alibaba</groupId>
  44.             <artifactId>fastjson</artifactId>
  45.             <version>1.2.68</version>
  46.         </dependency>
  47.  
  48.         <dependency>
  49.             <groupId>org.apache.hadoop</groupId>
  50.             <artifactId>hadoop-client</artifactId>
  51.             <version>3.3.4</version>
  52.         </dependency>
  53.         <dependency>
  54.             <groupId>org.apache.flink</groupId>
  55.             <artifactId>flink-clients</artifactId>
  56.             <version>${flink.version}</version>
  57.         </dependency>
  58.  
  59.         <dependency>
  60.             <groupId>org.apache.flink</groupId>
  61.             <artifactId>flink-table-api-java-bridge</artifactId>
  62.             <version>${flink.version}</version>
  63.         </dependency>
  64.  
  65.         <dependency>
  66.             <groupId>org.apache.flink</groupId>
  67.             <artifactId>flink-connector-jdbc</artifactId>
  68.             <version>${flink.version}</version>
  69.         </dependency>
  70.  
  71.         <dependency>
  72.             <groupId>com.ververica</groupId>
  73.             <artifactId>flink-connector-mysql-cdc</artifactId>
  74.             <version>${flink-cdc.version}</version>
  75.         </dependency>
  76.  
  77.         <dependency>
  78.             <groupId>org.apache.flink</groupId>
  79.             <artifactId>flink-statebackend-rocksdb</artifactId>
  80.             <version>${flink.version}</version>
  81.         </dependency>
  82.  
  83.         <dependency>
  84.             <groupId>org.apache.flink</groupId>
  85.             <artifactId>flink-table-planner_2.12</artifactId>
  86.             <version>${flink.version}</version>
  87.         </dependency>
  88.  
  89.     </dependencies>
  90.  
  91.     <build>
  92.         <plugins>
  93.             <plugin>
  94.                 <groupId>org.apache.maven.plugins</groupId>
  95.                 <artifactId>maven-assembly-plugin</artifactId>
  96.                 <version>3.0.0</version>
  97.                 <configuration>
  98.                     <descriptorRefs>
  99.                         <descriptorRef>jar-with-dependencies</descriptorRef>
  100.                     </descriptorRefs>
  101.                 </configuration>
  102.                 <executions>
  103.                     <execution>
  104.                         <id>make-assembly</id>
  105.                         <phase>package</phase>
  106.                         <goals>
  107.                             <goal>single</goal>
  108.                         </goals>
  109.                     </execution>
  110.                 </executions>
  111.             </plugin>
  112.         </plugins>
  113.     </build>
  114.  
  115. </project>

2.2.2、编写代码

  1. package com.admin.flink;
  2.  
  3. import com.ververica.cdc.connectors.mysql.source.MySqlSource;
  4. import com.ververica.cdc.connectors.mysql.table.StartupOptions;
  5. import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
  6. import org.apache.flink.api.common.eventtime.WatermarkStrategy;
  7. import org.apache.flink.api.common.restartstrategy.RestartStrategies;
  8. import org.apache.flink.api.common.time.Time;
  9. import org.apache.flink.runtime.state.hashmap.HashMapStateBackend;
  10. import org.apache.flink.streaming.api.CheckpointingMode;
  11. import org.apache.flink.streaming.api.datastream.DataStreamSource;
  12. import org.apache.flink.streaming.api.environment.CheckpointConfig;
  13. import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
  14.  
  15. public class FlinkCDC_Stream {
  16.  
  17.     public static void main(String[] args) throws Exception {
  18.         // TODO 1. 准备流处理环境
  19.         StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
  20.         env.setParallelism(1);
  21.  
  22.  
  23.         // TODO 2. 开启检查点   Flink-CDC将读取binlog的位置信息以状态的方式保存在CK,如果想要做到断点续传,
  24.         // 需要从Checkpoint或者Savepoint启动程序
  25.         // 2.1 开启Checkpoint,每隔5秒钟做一次CK  ,并指定CK的一致性语义
  26.         env.enableCheckpointing(3000L, CheckpointingMode.EXACTLY_ONCE);
  27.         // 2.2 设置超时时间为 1 分钟
  28.         env.getCheckpointConfig().setCheckpointTimeout(60 * 1000L);
  29.         // 2.3 设置两次重启的最小时间间隔
  30.         env.getCheckpointConfig().setMinPauseBetweenCheckpoints(3000L);
  31.         // 2.4 设置任务关闭的时候保留最后一次 CK 数据
  32.         env.getCheckpointConfig().enableExternalizedCheckpoints(
  33.                 CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
  34.         // 2.5 指定从 CK 自动重启策略
  35.         env.setRestartStrategy(RestartStrategies.failureRateRestart(
  36.                 3, Time.days(1L), Time.minutes(1L)
  37.         ));
  38.         // 2.6 设置状态后端
  39.         env.setStateBackend(new HashMapStateBackend());
  40.         env.getCheckpointConfig().setCheckpointStorage(
  41.                 "hdfs://mycluster/flinkCDC"
  42.         );
  43.  
  44.         // 2.7 设置访问HDFS的用户名
  45.         System.setProperty("HADOOP_USER_NAME", "admin");
  46.  
  47. // TODO 3. 创建 Flink-MySQL-CDC 的 Source
  48.         // initial:Performs an initial snapshot on the monitored database tables upon first startup, and continue to read the latest binlog.
  49. // earliest:Never to perform snapshot on the monitored database tables upon first startup, just read from the beginning of the binlog. This should be used with care, as it is only valid when the binlog is guaranteed to contain the entire history of the database.
  50. // latest:Never to perform snapshot on the monitored database tables upon first startup, just read from the end of the binlog which means only have the changes since the connector was started.
  51. // specificOffset:Never to perform snapshot on the monitored database tables upon first startup, and directly read binlog from the specified offset.
  52. // timestamp:Never to perform snapshot on the monitored database tables upon first startup, and directly read binlog from the specified timestamp.The consumer will traverse the binlog from the beginning and ignore change events whose timestamp is smaller than the specified timestamp.
  53.  
  54.         MySqlSource<String> mySqlSource = MySqlSource.<String>builder()
  55.                 .hostname("hadoop102")
  56.                 .port(3306)
  57.                 .databaseList("tms01") // set captured database
  58.                 .tableList("tms01.user_info") // set captured table
  59.                 .username("root")
  60.                 .password("123456")
  61.                 .deserializer(new JsonDebeziumDeserializationSchema()) // converts SourceRecord to JSON String
  62.                 .startupOptions(StartupOptions.initial())
  63.                 .build();
  64.  
  65.         // TODO 4.使用CDC Source从MySQL读取数据
  66.         DataStreamSource<String> mysqlDS =
  67.                 env.fromSource(
  68.                         mySqlSource,
  69.                         WatermarkStrategy.noWatermarks(),
  70.                         "MysqlSource");
  71.  
  72.         // TODO 5.打印输出
  73.         mysqlDS.print();
  74.  
  75.         // TODO 6.执行任务
  76.         env.execute();
  77.     }
  78.  
  79. }

2.2.3、将hadoop配置文件放入resource文件

因为代码中Flink开启了检查点的功能，并将检查点保存在HDFS，所以需要将Hadoop的相关配置文件放入resource文件夹，用于连接配置HDFS集群。

2.2.4、案例测试

1）打包并上传至Linux

2）启动HDFS集群

[admin@hadoop102 flink-local]$ start-dfs.sh

3）启动Flink集群

[admin@hadoop102 flink-local]$ bin/start-cluster.sh

4）启动程序

[admin@hadoop102 flink-local]$ bin/flink run -m hadoop102:8081 -c com.admin.flink.FlinkCDC_Stream ./tms-flink-cdc.jar

5）观察taskManager日志，会从头读取表数据

6）给当前的Flink程序创建Savepoint 

[admin@hadoop102 flink-local]$ bin/flink savepoint JobId hdfs://hadoop102:8020/flinkCDC/save

在WebUI中cancelJob

在MySQL的tms01.user_info表中添加、修改或者删除数据

从Savepoint重启程序

[admin@hadoop102 flink-standalone]$ bin/flink run -s hdfs://hadoop102:8020/flink/save/... -c com.admin.flink.FlinkCDC_Stream ./gmall-flink-cdc.jar

观察taskManager日志，会从检查点读取表数据

2.3、FlinkSQL方式的应用

2.3.1、添加依赖

  1. <dependency>
  2.     <groupId>org.apache.flink</groupId>
  3.     <artifactId>flink-table-planner_2.12</artifactId>
  4.     <version>1.16.1</version>
  5. </dependency>

2.3.2、代码实现

  1. package com.admin.flink;
  2.  
  3. import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
  4. import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
  5.  
  6. public class FlinkCDC_SQL {
  7.  
  8.     public static void main(String[] args) throws Exception {
  9.         // TODO 1. 准备环境
  10.         // 1.1 流处理环境
  11.         StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
  12.         env.setParallelism(1);
  13.         // 1.2 表执行环境
  14.         StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
  15.  
  16.         // TODO 2. 创建动态表
  17.         tableEnv.executeSql("CREATE TABLE user_info (\n" +
  18.                 "id INT,\n" +
  19.                 "login_name STRING,\n" +
  20.                 "nick_name STRING,\n" +
  21.                 "primary key(id) not enforced\n" +
  22.                 ") WITH (" +
  23.                 "'connector' = 'mysql-cdc'," +
  24.                 "'hostname' = 'hadoop102'," +
  25.                 "'port' = '3306'," +
  26.                 "'username' = 'root'," +
  27.                 "'password' = '123456'," +
  28.                 "'database-name' = 'tms01'," +
  29.                 "'table-name' = 'user_info'" +
  30.                 ")");
  31.  
  32.         tableEnv.executeSql("select * from user_info").print();
  33.  
  34.         // TODO 3. 执行任务
  35.         env.execute();
  36.     }
  37.  
  38. }

2.3.3、测试

直接运行查看控制台输出。

3、生产环境中Flink-CDC配置

3.1、环境搭建

（1）创建tms-realtime模块

（2）创建如下包结构

目录

作用

app

Flink任务应用程序

util

工具类

（3）修改配置文件

在pom.xml的<project></project>添加如下配置。

  1. <properties>
  2.     <maven.compiler.source>8</maven.compiler.source>
  3.     <maven.compiler.target>8</maven.compiler.target>
  4.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  5.     <java.version>1.8</java.version>
  6.     <flink.version>1.16.1</flink.version>
  7.     <scala.version>2.12</scala.version>
  8.     <hadoop.version>3.3.4</hadoop.version>
  9.     <flink-cdc.version>2.3.0</flink-cdc.version>
  10. </properties>
  11.  
  12. <dependencies>
  13.     <dependency>
  14.         <groupId>org.apache.flink</groupId>
  15.         <artifactId>flink-java</artifactId>
  16.         <version>${flink.version}</version>
  17.     </dependency>
  18.  
  19.     <dependency>
  20.         <groupId>org.apache.flink</groupId>
  21.         <artifactId>flink-streaming-java</artifactId>
  22.         <version>${flink.version}</version>
  23.     </dependency>
  24.  
  25.     <dependency>
  26.         <groupId>org.apache.flink</groupId>
  27.         <artifactId>flink-connector-kafka</artifactId>
  28.         <version>${flink.version}</version>
  29.     </dependency>
  30.  
  31.     <dependency>
  32.         <groupId>com.alibaba</groupId>
  33.         <artifactId>fastjson</artifactId>
  34.         <version>1.2.68</version>
  35.     </dependency>
  36.  
  37.     <dependency>
  38.         <groupId>org.apache.hadoop</groupId>
  39.         <artifactId>hadoop-client</artifactId>
  40.         <version>3.3.4</version>
  41.     </dependency>
  42.     <dependency>
  43.         <groupId>org.apache.flink</groupId>
  44.         <artifactId>flink-clients</artifactId>
  45.         <version>${flink.version}</version>
  46.     </dependency>
  47.  
  48.     <dependency>
  49.         <groupId>org.apache.flink</groupId>
  50.         <artifactId>flink-table-api-java-bridge</artifactId>
  51.         <version>${flink.version}</version>
  52.     </dependency>
  53.  
  54.     <dependency>
  55.         <groupId>org.apache.flink</groupId>
  56.         <artifactId>flink-connector-jdbc</artifactId>
  57.         <version>${flink.version}</version>
  58.     </dependency>
  59.  
  60.     <dependency>
  61.         <groupId>com.ververica</groupId>
  62.         <artifactId>flink-connector-mysql-cdc</artifactId>
  63.         <version>${flink-cdc.version}</version>
  64.     </dependency>
  65.  
  66.     <dependency>
  67.         <groupId>org.apache.flink</groupId>
  68.         <artifactId>flink-statebackend-rocksdb</artifactId>
  69.         <version>${flink.version}</version>
  70.     </dependency>
  71.  
  72. </dependencies>
  73.  
  74. <build>
  75.     <plugins>
  76.         <plugin>
  77.             <groupId>org.apache.maven.plugins</groupId>
  78.             <artifactId>maven-assembly-plugin</artifactId>
  79.             <version>3.0.0</version>
  80.             <configuration>
  81.                 <descriptorRefs>
  82.                     <descriptorRef>jar-with-dependencies</descriptorRef>
  83.                 </descriptorRefs>
  84.             </configuration>
  85.             <executions>
  86.                 <execution>
  87.                     <id>make-assembly</id>
  88.                     <phase>package</phase>
  89.                     <goals>
  90.                         <goal>single</goal>
  91.                     </goals>
  92.                 </execution>
  93.             </executions>
  94.         </plugin>
  95.     </plugins>
  96. </build>

3.2、思路分析

（1）流处理环境准备

        撰写Flink程序首先要初始化流处理环境，配套的实时项目会有很多Flink程序，为了避免重复书写大量代码，将环境准备抽取为工具类CreateEnvUtil 中的方法getStreamEnv(String[] args)。思路如下。

① 初始化流处理环境

② 获取命令行参数

        生产环境下Flink Job通常采用Flink on Yarn模式部署，所有程序会打包部署到服务器，然后提交给Yarn。Flink Job的配置信息可以通过flink-conf.yaml文件指定、可以在命令行提交Job时指定、可以在代码中指定，三者的优先级依次升高。如果所有配置项都在代码中指定，要更改就必须修改代码，重新打包部署，然后提交Job。而一个Flink Job涉及的配置信息多达十几甚至几十个，当业务场景发生变化如数据洪峰到来时可能需要频繁修改，无疑会极大增加工作量。为了提升效率，配置项通常不再代码中写死，而是通过命令行与配置文件flink-conf.yaml指定。通常在flink-conf.yaml中配置默认值，如果Job的配置与默认值不同，在提交Job时显式指定以覆盖默认值。当然，用到的所有配置项全部在提交Job时指定也是可以的。

        配置项可以分为两类：

    a）可以通过官方配置项指定。Flink官方提供可以通过-Dkey=value在提交Job时指定，此类无须赘述
    b）只能通过args指定。某些配置官方没有提供对应的配置项，只能通过main方法的参数，字符串数组args传递，然后用ParameterTool解析。ParameterTool会遍历args数组的元素，将--或-开头的字符串识别为配置项的key，其后紧邻的非key元素识别为对应的value，然后将所有键值对封装到HashMap中，保存在ParameterTool类对象Map类型的属性data中，然后将该对象返回。因此，通过b方式传递配置信息时需要注意：
        i）配置项的key必须以--或-开头，
        ii）与key对应的value必须与key紧邻，位于其后。

③ 对流处理环境进行配置

        对于②中的a）类配置项，代码中无须改动，对于b）类配置，将命令行传入的参数传递给流处理对象。

（2）Mysql数据源准备

① 命令行传参

        Flink-CDC可以监控Mysql的binlog，将采集到的数据封装为MySqlSource类型的对象。该类型对象初始化时需要指定Mysql的IP、端口、用户名、密码、数据库名称、原始表等，这些参数只能通过args传递。

② 启动模式

        离线数仓需要对历史业务数据做分析处理，因此StartupMode应为initial()，即首次启动Job时执行一次全表扫描。

③ 原始表列表

        增量表分为两类：与事实相关的表、与维度相关的表，这两类表的配置相同，但考虑到实时数仓测试环境下可能要对这两类表做不同的配置，我们将它们的名称封装到不同的String数组中。

④ 数据序列化

        通过Flink-CDC提供的JsonDebeziumDeserializationSchema类对象做序列化，采集到的数据会被封装为JSON字符串。特殊地，decimal类型数据默认会被序列化为base-64编码的字符串，如'10.2345'会输出为'D3J5'，显然与我们的需求不符，需要将默认的序列化格式更换为NUMERIC。

⑤ serverId

        Flink-CDC监控binlog是基于主从复制实现的，Flink的每个并行度会被伪装为一台从机，每台从机要有唯一的serverId。

（3）Kafka工具类

        对数据处理后需要将数据写出到Kafka，编写KafkaUtil工具类及Kafka生产者初始化方法。

① 命令行传参

Kafka主题、URL等配置信息通过args传递。

② 初始化FlinkKafkaProducer对象

语义设置为精准一次，Flink对接Kafka的精准一次是基于Kafka事务通过两阶段提交实现的，未提交的数据仍然会进入Kafka，只是被标记为未提交状态。Kafka的隔离机制决定了是否可以读取这部分数据，该配置项为isolation.level，取值如下。

    read_committed：读已提交，下游只能读取状态为已提交的事务数据和所有非事务数据。
    read_uncommitted：读未提交，下游可以读取所有状态的事务数据和非事务数据。该值为默认值。

如果要真正保证精准一次，我们需要将isolation.level修改为read_comitted，但写入Kafka的数据只有在检查点完成时才会被提交，因而数据延迟会在原先的基础上大大增加。相邻两次检查点完成的时间间隔越大，延迟越高。因此，企业通常不愿承担这样的代价，仍使用默认的隔离级别，通过下游去重保证统计结果的准确。但是，对于某些无法去重或严格要求精准一次的场景只能接受延迟的增加。生产环境应根据实际情况在延迟和精准一次之间作取舍。

（4）时间戳处理工具类

        提供两个方法，分别提供将yyyy-MM-dd HH:mm:ss的格式化时间字符串转换为毫秒时时间戳的功能和将后者转换为前者的功能。用途下文说明。

（5）主程序

① 初始化流处理环境

        调用工具类CreateEnvUtil的对应方法即可。

② 全局并行度设置

        Flink应用的并行度可以在4处指定：算子并行度、全局并行度、Job提交时、flink-conf.yaml配置文件中，优先级依次降低。配置文件中的并行度通常作为默认值存在，即其它三处均不指定时此处生效。对于广播算子等并行度不会更改的算子设置算子并行度，生产环境一般通常不会在代码中设置全局并行度，而是通过命令行调整。

        Kafka分区数为4，Flink并行度应与之相同，全局并行度设置为4，调试程序时可以在代码中指定，打包部署之前应删除对应语句。

③ 定义source算子

a）指定读取类型（dim/dwd），监控不同的表。维度相关的表和事实相关的表各自生成数据源。

b）指定算子并行度，当source算子并行度大于1时，同一主键的数据可能会进入不同的并行度，可能因此导致数据乱序。如JSON格式为{"id":1, "name":"小红"}的数据先被修改为{"id":1, "name":"小花"}，又被修改为{"id":1, "name":"小黄"}，若两次修改进入了不同并行度，下游可能先接收到第二次修改，那么最终保留的name为“小花”而非“小黄”，从而导致统计结果出错。因此source算子并行度设置为1，保证数据严格有序。

c）ETL及数据结构转换。舍弃两种数据：i）格式不完整的JSON数据；ii）操作类型为删除的数据。通过filter算子实现。要注意，我们设置了全局并行度为4，若不显式声明则filter算子并行度为4而source并行度为1，会发生rebalance，相同主键数据可能进入不同并行度从而导致数据乱序使得计算结果出错，因此，显式声明filter算子并行度为1。

        常用的时间戳字段名均为ts，为避免不必要的麻烦，将时间戳字段名由ts_ms替换为ts。此外，Flink-CDC采集到的数据中，与before、after同级的时间戳ts_ms对应的时间为数据进入Flink-CDC Job的时间，生产环境下分为两种情况：如果是snapshot采集到的历史数据该时间戳为采集时间，Flume的HDFSSink会按照它将数据写入HDFS对应日期的目录（下文详述）；如果是实时监控binlog采集到的数据，该时间戳与业务数据变更时间相差无几，可以直接将其作为业务数据变更时间，同样会被作为HDFS分区的时间戳，这两种情况改时间戳都不需要更改。但是，教学环境下我们需要模拟生成指定日期的数据，指定的日期可能与ts_ms的日期不同，此时就需要将其yyyy-MM-dd部分替换为指定的日期。使用上文提到的时间戳工具类中的对应方法完成此操作。

d）按照主键分区，相同主键数据进入相同分区，严格有序。

e）写入Kafka指定主题


3.3、代码实现

（1）FlinkCDC采集到的原始数据示例

  1. {
  2.     // 变更前的数据（一行）
  3.     "before":null,
  4.     // 变更后的数据（一行）
  5.     "after":{
  6.         "id":232232,
  7.         "shift_id":1794,
  8.         "line_id":833,
  9.         "start_org_id":25,
  10.         "start_org_name":"重庆市市辖区转运中心",
  11.         "end_org_id":26,
  12.         "end_org_name":"四川省成都市转运中心",
  13.         "status":"67004",
  14.         "order_num":0,
  15.         "driver1_emp_id":1620,
  16.         "driver1_name":"袁永",
  17.         "driver2_emp_id":1621,
  18.         "driver2_name":"邬晶",
  19.         "truck_id":897,
  20.         "truck_no":"渝A6N61K",
  21.         "actual_start_time":1659808843000,
  22.         "actual_end_time":1659824732000,
  23.         "actual_distance":314,
  24.         "create_time":"2022-08-06T16:50:32Z",
  25.         "update_time":"2022-08-06T22:25:32Z",
  26.         "is_deleted":"0"
  27.     },
  28.     // 元数据信息
  29.     "source":{
  30.         "version":"1.5.4.Final",
  31.         "connector":"mysql",
  32.         "name":"mysql_binlog_source",
  33.         "ts_ms":0,
  34.         "snapshot":"false",
  35.         "db":"tms",
  36.         "sequence":null,
  37.         "table":"transport_task",
  38.         "server_id":0,
  39.         "gtid":null,
  40.         "file":"",
  41.         "pos":0,
  42.         "row":0,
  43.         "thread":null,
  44.         "query":null
  45.     },
  46.     // 对当前行数据进行的操作
  47.     // "c":create;新增
  48.     // "r":read;读取，只有首日新增才会是r
  49.     // "u":update;修改
  50.     // "d":delete;删除
  51.     "op":"r",
  52.     "ts_ms":1672128012567,
  53.     "transaction":null
  54. }

（2）CreateEnvUtil工具类

① 导入配置文件

本项目对接HDFS高可用集群，为了解析集群名称，需要将core-site.xml和hdfs-site.xml文件置于项目resources目录下。

② 主程序如下。

  1. package com.admin.tms.realtime.util;
  2.  
  3. import com.esotericsoftware.minlog.Log;
  4. import com.ververica.cdc.connectors.mysql.source.MySqlSource;
  5. import com.ververica.cdc.connectors.mysql.source.MySqlSourceBuilder;
  6. import com.ververica.cdc.connectors.mysql.table.StartupOptions;
  7. import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
  8. import org.apache.flink.api.java.utils.ParameterTool;
  9. import org.apache.flink.runtime.state.hashmap.HashMapStateBackend;
  10. import org.apache.flink.streaming.api.CheckpointingMode;
  11. import org.apache.flink.streaming.api.environment.CheckpointConfig;
  12. import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
  13. import org.apache.kafka.connect.json.DecimalFormat;
  14. import org.apache.kafka.connect.json.JsonConverterConfig;
  15.  
  16. import java.util.HashMap;
  17.  
  18. public class CreateEnvUtil {
  19.  
  20.     /**
  21.      * 初始化流处理环境
  22.      *
  23.      * @param args 命令行参数数组
  24.      * @return 流处理环境
  25.      */
  26.     public static StreamExecutionEnvironment getStreamEnv(String[] args) {
  27.         // TODO 1. 初始化流处理环境
  28.         StreamExecutionEnvironment env = StreamExecutionEnvironment
  29.                 .getExecutionEnvironment();
  30.         
  31.  
  32.         return env;
  33.     }
  34.  
  35.     /**
  36.      * 生成 Flink-CDC 的 MysqlSource 对象
  37.      * @param option 选项，dim|dwd，对应不同的原始表列表
  38.      * @param serverId  MySQL 从机的 serverId
  39.      * @param args 命令行参数数组
  40.      * @return MySqlSource 对象
  41.      */
  42.     public static MySqlSource<String> getJSONSchemaMysqlSource(String option, String serverId, String[] args) {
  43.         ParameterTool parameterTool = ParameterTool.fromArgs(args);
  44.         String mysqlHostname = parameterTool.get("mysql-hostname", "hadoop102");
  45.         int mysqlPort = Integer.parseInt(parameterTool.get("mysql-port", "3306"));
  46.         String mysqlUsername = parameterTool.get("mysql-username", "root");
  47.         String mysqlPasswd = parameterTool.get("mysql-passwd", "000000");
  48.         serverId = parameterTool.get("server-id", serverId);
  49.         option = parameterTool.get("start-up-options", option);
  50.  
  51.         // 将 Decimal 类型数据的解析格式由 BASE64 更改为 NUMERIC，否则解析报错
  52.         // 创建配置信息 Map 集合，将 Decimal 数据类型的解析格式配置 k-v 置于其中
  53.         HashMap config = new HashMap<>();
  54.         config.put(JsonConverterConfig.DECIMAL_FORMAT_CONFIG, DecimalFormat.NUMERIC.name());
  55.         // 将前述 Map 集合中的配置信息传递给 JSON 解析 Schema，该 Schema 将用于 MysqlSource 的初始化
  56.         JsonDebeziumDeserializationSchema jsonDebeziumDeserializationSchema =
  57.                 new JsonDebeziumDeserializationSchema(false, config);
  58.  
  59.         // 创建 MysqlSourceBuilder 对象
  60.         MySqlSourceBuilder<String> builder = MySqlSource.<String>builder()
  61.                 .hostname(mysqlHostname)
  62.                 .port(mysqlPort)
  63.                 .username(mysqlUsername)
  64.                 .password(mysqlPasswd)
  65.                 .deserializer(jsonDebeziumDeserializationSchema);
  66.  
  67.         // 根据方法的 option 参数做不同的初始化操作，返回不同的 MysqlSource 对象
  68.         switch (option) {
  69.             case "dim":
  70.                 String[] dimTables = new String[]{"tms.user_info",
  71.                         "tms.user_address"};
  72.                 return builder
  73.                         .databaseList("tms")
  74.                         .tableList(dimTables)
  75.                         .startupOptions(StartupOptions.initial())
  76.                         .serverId(serverId)
  77.                         .build();
  78.             case "dwd":
  79.                 String[] dwdTables = new String[]{"tms.order_info",
  80.                         "tms.order_cargo",
  81.                         "tms.transport_task",
  82.                         "tms.order_org_bound"};
  83.                 return builder
  84.                         .databaseList("tms")
  85.                         .tableList(dwdTables)
  86.                         .startupOptions(StartupOptions.initial())
  87.                         .serverId(serverId)
  88.                         .build();
  89.         }
  90.         Log.error("不支持的操作类型!");
  91.         return null;
  92.     }
  93. }

（3）KafkaUtil 工具类

  1. package com.admin.tms.realtime.util;
  2.  
  3. import org.apache.flink.api.java.utils.ParameterTool;
  4. import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;
  5. import org.apache.flink.streaming.connectors.kafka.KafkaSerializationSchema;
  6. import org.apache.kafka.clients.producer.ProducerConfig;
  7. import org.apache.kafka.clients.producer.ProducerRecord;
  8.  
  9. import javax.annotation.Nullable;
  10. import java.util.Properties;
  11.  
  12. import static org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer.Semantic.EXACTLY_ONCE;
  13.  
  14. public class KafkaUtil {
  15.  
  16.     private static final String DEFAULT_TOPIC = "default_topic";
  17.  
  18.     /**
  19.      * 指定 topic 获取 FlinkKafkaProducer 实例
  20.      *
  21.      * @param topic 主题
  22.      * @param args  命令行参数数组
  23.      * @return FlinkKafkaProducer 实例
  24.      */
  25.     public static FlinkKafkaProducer<String> getKafkaProducer(String topic, String[] args) {
  26.         // 创建配置对象
  27.         Properties producerProp = new Properties();
  28.         // 将命令行参数对象封装为 ParameterTool 类对象
  29.         ParameterTool parameterTool = ParameterTool.fromArgs(args);
  30.  
  31.         // 提取命令行传入的 key 为 topic 的配置信息，并将默认值指定为方法参数 topic
  32.         // 当命令行没有指定 topic 时，会采用默认值
  33.         topic = parameterTool.get("topic", topic);
  34.         // 如果命令行没有指定主题名称且默认值为 null 则抛出异常
  35.         if (topic == null) {
  36.             throw new IllegalArgumentException("主题名不可为空：命令行传参为空且没有默认值!");
  37.         }
  38.  
  39.         // 获取命令行传入的 key 为 bootstrap-servers 的配置信息，并指定默认值
  40.         String bootstrapServers = parameterTool.get(
  41.                 "bootstrap-severs", "hadoop102:9092, hadoop103:9092, hadoop104:9092");
  42.         // 获取命令行传入的 key 为 transaction-timeout 的配置信息，并指定默认值
  43.         String transactionTimeout = parameterTool.get(
  44.                 "transaction-timeout", 15 * 60 * 1000 + "");
  45.         // 设置 Kafka 连接的 URL
  46.         producerProp.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
  47.         // 设置 Kafka 事务超时时间
  48.         producerProp.setProperty(ProducerConfig.TRANSACTION_TIMEOUT_CONFIG, transactionTimeout);
  49.  
  50.         // 内部类中使用但未声明的局部变量必须在内部类代码段之前明确分配
  51.         String finalTopic = topic;
  52.         return new FlinkKafkaProducer<String>(
  53.                 DEFAULT_TOPIC,
  54.                 new KafkaSerializationSchema<String>() {
  55.                     @Override
  56.                     public ProducerRecord<byte[], byte[]> serialize(String jsonStr, @Nullable Long timestamp) {
  57.                         return new ProducerRecord<byte[], byte[]>(finalTopic, jsonStr.getBytes());
  58.                     }
  59.                 },
  60.                 producerProp,
  61.                 EXACTLY_ONCE);
  62.     }
  63. }

（4）日期格式化工具类DateFormatUtil

  1. package com.admin.tms.realtime.util;
  2.  
  3. import java.time.LocalDateTime;
  4. import java.time.ZoneId;
  5. import java.time.ZoneOffset;
  6. import java.time.format.DateTimeFormatter;
  7. import java.util.Date;
  8.  
  9. public class DateFormatUtil {
  10.     // yyyy-MM-dd HH:mm:ss 日期格式化对象
  11.     private static final DateTimeFormatter dtf = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");
  12.  
  13.     /**
  14.      * 将 yyyy-MM-dd HH:mm:ss 格式化日期字符串转换为毫秒时间戳
  15.      * @param dtStr yyyy-MM-dd HH:mm:ss 格式化日期字符串
  16.      * @return 毫秒时间戳
  17.      */
  18.     public static Long toTs(String dtStr) {
  19.         LocalDateTime localDateTime = LocalDateTime.parse(dtStr, dtf);
  20.         return localDateTime.toInstant(ZoneOffset.of("+8")).toEpochMilli();
  21.     }
  22.  
  23.     /**
  24.      * 将毫秒时间戳转换为 yyyy-MM-dd HH:mm:ss 格式化日期字符串
  25.      * @param ts 毫秒时间戳
  26.      * @return  yyyy-MM-dd HH:mm:ss 格式化日期字符串
  27.      */
  28.     public static String toYmdHms(Long ts) {
  29.         Date dt = new Date(ts);
  30.         LocalDateTime localDateTime = LocalDateTime.ofInstant(dt.toInstant(), ZoneId.systemDefault());
  31.         return dtf.format(localDateTime);
  32.     }
  33. }

（5）编写主程序，监控MySQL变化数据并写入Kafka

  1. package com.admin.tms.realtime.app.ods;
  2.  
  3. import com.alibaba.fastjson.JSON;
  4. import com.alibaba.fastjson.JSONException;
  5. import com.alibaba.fastjson.JSONObject;
  6. import com.admin.tms.realtime.util.CreateEnvUtil;
  7. import com.admin.tms.realtime.util.DateFormatUtil;
  8. import com.admin.tms.realtime.util.KafkaUtil;
  9. import com.esotericsoftware.minlog.Log;
  10. import com.ververica.cdc.connectors.mysql.source.MySqlSource;
  11. import org.apache.flink.api.common.eventtime.WatermarkStrategy;
  12. import org.apache.flink.api.common.functions.FlatMapFunction;
  13. import org.apache.flink.api.java.functions.KeySelector;
  14. import org.apache.flink.api.java.utils.ParameterTool;
  15. import org.apache.flink.streaming.api.datastream.DataStreamSource;
  16. import org.apache.flink.streaming.api.datastream.KeyedStream;
  17. import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
  18. import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
  19. import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;
  20. import org.apache.flink.util.Collector;
  21.  
  22. public class OdsApp {
  23.     public static void main(String[] args) throws Exception {
  24.  
  25.         // TODO 1. 初始化流处理环境
  26.         StreamExecutionEnvironment env = CreateEnvUtil.getStreamEnv(args);
  27.  
  28.         // 并行度设置，部署时应注释，通过 args 指定全局并行度
  29.         env.setParallelism(4);
  30.  
  31.         // TODO 2. 处理维度数据
  32.         String dimOption = "dim";
  33.         String dimServerId = "6020";
  34.         String dimSourceName = "ods_dim_source";
  35.         sinkToKafka(dimOption, dimServerId, dimSourceName, env, args);
  36.  
  37.         // TODO 3. 处理事实数据
  38.         String dwdOption = "dwd";
  39.         String dwdServerId = "6030";
  40.         String dwdSourceName = "ods_dwd_source";
  41.         sinkToKafka(dwdOption, dwdServerId, dwdSourceName, env, args);
  42.  
  43.         env.execute();
  44.     }
  45.  
  46.     public static void sinkToKafka(
  47.             String option, String serverId, String sourceName, StreamExecutionEnvironment env, String[] args) {
  48.         // 1. 读取数据
  49.         MySqlSource<String> mysqlSource = CreateEnvUtil.getJSONSchemaMysqlSource(option, serverId, args);
  50.         DataStreamSource<String> source = env
  51.                 .fromSource(mysqlSource, WatermarkStrategy.noWatermarks(), sourceName)
  52.                 .setParallelism(1);
  53.  
  54.         // 2. ETL
  55.         // 获取统计日期
  56.         ParameterTool parameterTool = ParameterTool.fromArgs(args);
  57.         String mockDate = parameterTool.get("mock_date");
  58.         SingleOutputStreamOperator<String> flatMappedStream =
  59.                 source.flatMap(new FlatMapFunction<String, String>() {
  60.             @Override
  61.             public void flatMap(String jsonStr, Collector<String> out) throws Exception {
  62.                 try {
  63.                     JSONObject jsonObj = JSON.parseObject(jsonStr);
  64.                     if (jsonObj.getJSONObject("after") != null
  65.                             && !jsonObj.getString("op").equals("d")) {
  66.                         Long ts = jsonObj.getLong("ts_ms");
  67.                         if (mockDate != null) {
  68.                             String curDate = DateFormatUtil.toYmdHms(ts);
  69.                             String fixedDate = mockDate + curDate.substring(10);
  70.                             Long fixedTs = DateFormatUtil.toTs(fixedDate);
  71.                             jsonObj.put("ts", fixedTs);
  72.                         } else {
  73.                             jsonObj.put("ts", ts);
  74.                         }
  75.                         jsonObj.remove("ts_ms");
  76.                         out.collect(jsonObj.toJSONString());
  77.                     }
  78.                 } catch (JSONException jsonException) {
  79.                     jsonException.printStackTrace();
  80.                     Log.error("从Flink-CDC读取的数据解析异常" + jsonException.getMessage());
  81.                 }
  82.             }
  83.         }).setParallelism(1);
  84.  
  85.         // 3. 按照主键分组，避免数据倾斜
  86.         KeyedStream<String, String> keyedStream = flatMappedStream.keyBy(
  87.                 new KeySelector<String, String>() {
  88.                     @Override
  89.                     public String getKey(String jsonStr) {
  90.                         JSONObject jsonObj = JSON.parseObject(jsonStr);
  91.                         return jsonObj.getJSONObject("after").getString("id");
  92.                     }
  93.                 }
  94.         );
  95.  
  96.         // 4. 写入 Kafka 对应主题
  97.         String topic = "tms_ods";
  98.         FlinkKafkaProducer<String> kafkaProducer = KafkaUtil.getKafkaProducer(topic, args);
  99.         keyedStream
  100.                 .addSink(kafkaProducer);
  101.     }
  102. }

3.4、Flink部署

注意：这里使用的是yarn模式提交Flink代码，使用的是yarn的容器来启动Flink，所以并不需要启动Flink的集群，所以也并不需要多台机器部署Flink集群。

（1）上传安装包

将Flink-1.16.1安装包上传至hadoop102的/opt/software目录下。

  1. [admin@hadoop102 software]$ ls | grep flink-1.16.1
  2.  
  3. flink-1.16.1-bin-scala_2.12.tgz

（2）解压

  1. [admin@hadoop102 software]$ tar -zxvf flink-1.16.1-bin-scala_2.12.tgz -C ../module
  2. [admin@hadoop102 software]$ cd ../module/
  3. [admin@hadoop102 module]$ ls | grep flink-1.16.1
  4. flink-1.16.1

（3）配置环境变量

[admin@hadoop103 module]$ sudo vim /etc/profile.d/my_env.sh

在文件末尾添加以下内容。

  1. # FLINK_HOME
  2. export FLINK_HOME=/opt/module/flink-1.16.1
  3. export PATH=$PATH:$FLINK_HOME/bin

保存退出，刷新环境变量。

[admin@hadoop102 module]$ source /etc/profile.d/my_env.sh

（4）Flink Job日志类型

Flink的Yarn per Job模式下一共有三类日志，如下。

① Flink客户端日志，默认会保存在Flink家目录lib下的flink-${username}-client-${hostname}.log文件中，username为执行提交命令所用的Linux系统用户名，hostname为Flink客户端所在节点主机名。部分客户端日志会被同时打印在控制台。

② JobManager容器日志，需要配置Yarn日志聚集（Hadoop基础课已有介绍，不再赘述）。如果开启了历史服务器可以在Yarn界面查看日志，否则须在对应的本地路径查看。

启动历史服务器

[admin@hadoop102 log]$ mapred --daemon start historyserver

点击Logs。

红框选中的即为JM日志。

（5）解决日志冲突

/opt/module/flink-1.16.1/lib目录下的log4j-slf4j-impl-2.17.1.jar文件会与Hadoop家目录share/hadoop/common/lib目录下的slf4j-log4j12-1.7.25.jar文件发生冲突，日志无法正常打印。修改Flink家目录lib下对应文件的后缀即可，如下。
 

  1. [admin@hadoop102 log]$ cd /opt/module/flink-1.16.1/lib/
  2. [admin@hadoop102 lib]$ mv log4j-slf4j-impl-2.17.1.jar log4j-slf4j-impl-2.17.1.jar.bak

（6）禁用类加载器检查

提交Job时控制台会抛出如下异常。

java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third party library and cannot be fixed immediately, you can disable this check with the configuration 'classloader.check-leaked-classloader'.

原因是Hadoop3.x版本会启动异步线程来执行一些终止方法。这些方法在任务执行之后运行，而此时类加载器已经被释放，就抛出以上异常。这个异常并不会影响任务的运行，只会在控制台打印堆栈信息。详见Flink Jira：[FLINK-19916] Hadoop3 ShutdownHookManager visit closed ClassLoader - ASF JIRA

我们可以通过在flink-conf.yaml文件中增加以下配置项禁用类加载器检查来避免报错。

  1. [admin@hadoop103 lib]$ cd /opt/module/flink-1.16.1/conf/
  2. [admin@hadoop103 conf]$ vim flink-conf.yaml

在文件中添加如下内容，而后保存退出即可。

classloader.check-leaked-classloader: false

3.5、打包部署

（1）将pom文件中服务器已有依赖的scope修改为provided，修改后的pom文件如下

  1. <properties>
  2.     <maven.compiler.source>8</maven.compiler.source>
  3.     <maven.compiler.target>8</maven.compiler.target>
  4.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  5.     <java.version>1.8</java.version>
  6.     <flink.version>1.16.1</flink.version>
  7.     <scala.version>2.12</scala.version>
  8.     <hadoop.version>3.1.3</hadoop.version>
  9.     <flink-cdc.version>2.3.0</flink-cdc.version>
  10. </properties>
  11.  
  12. <dependencies>
  13.     <dependency>
  14.         <groupId>org.apache.flink</groupId>
  15.         <artifactId>flink-java</artifactId>
  16.         <version>${flink.version}</version>
  17.     </dependency>
  18.  
  19.     <dependency>
  20.         <groupId>org.apache.flink</groupId>
  21.         <artifactId>flink-streaming-java</artifactId>
  22.         <version>${flink.version}</version>
  23.     </dependency>
  24.  
  25.     <dependency>
  26.         <groupId>org.apache.flink</groupId>
  27.         <artifactId>flink-connector-kafka</artifactId>
  28.         <version>${flink.version}</version>
  29.     </dependency>
  30.  
  31.     <dependency>
  32.         <groupId>com.alibaba</groupId>
  33.         <artifactId>fastjson</artifactId>
  34.         <version>1.2.68</version>
  35.     </dependency>
  36.  
  37.     <dependency>
  38.         <groupId>org.apache.hadoop</groupId>
  39.         <artifactId>hadoop-client</artifactId>
  40.         <version>3.1.3</version>
  41.         <scope>provided</scope>
  42.     </dependency>
  43.  
  44.     <dependency>
  45.         <groupId>org.apache.flink</groupId>
  46.         <artifactId>flink-clients</artifactId>
  47.         <version>${flink.version}</version>
  48.     </dependency>
  49.  
  50.     <dependency>
  51.         <groupId>org.apache.flink</groupId>
  52.         <artifactId>flink-table-api-java-bridge</artifactId>
  53.         <version>${flink.version}</version>
  54.         <scope>provided</scope>
  55.     </dependency>
  56.  
  57.     <dependency>
  58.         <groupId>org.slf4j</groupId>
  59.         <artifactId>slf4j-api</artifactId>
  60.         <version>1.7.25</version>
  61.         <scope>provided</scope>
  62.     </dependency>
  63.  
  64.     <dependency>
  65.         <groupId>org.slf4j</groupId>
  66.         <artifactId>slf4j-log4j12</artifactId>
  67.         <version>1.7.25</version>
  68.         <scope>provided</scope>
  69.     </dependency>
  70.  
  71.     <dependency>
  72.         <groupId>org.apache.logging.log4j</groupId>
  73.         <artifactId>log4j-to-slf4j</artifactId>
  74.         <version>2.14.0</version>
  75.         <scope>provided</scope>
  76.     </dependency>
  77.  
  78.     <dependency>
  79.         <groupId>org.apache.flink</groupId>
  80.         <artifactId>flink-connector-jdbc</artifactId>
  81.         <version>${flink.version}</version>
  82.     </dependency>
  83.  
  84.     <dependency>
  85.         <groupId>com.ververica</groupId>
  86.         <artifactId>flink-connector-mysql-cdc</artifactId>
  87.         <version>${flink-cdc.version}</version>
  88.     </dependency>
  89.  
  90.     <dependency>
  91.         <groupId>org.apache.flink</groupId>
  92.         <artifactId>flink-statebackend-rocksdb</artifactId>
  93.         <version>${flink.version}</version>
  94.     </dependency>
  95.  
  96. </dependencies>
  97.  
  98. <build>
  99.     <plugins>
  100.         <plugin>
  101.             <groupId>org.apache.maven.plugins</groupId>
  102.             <artifactId>maven-assembly-plugin</artifactId>
  103.             <version>3.0.0</version>
  104.             <configuration>
  105.                 <descriptorRefs>
  106.                     <descriptorRef>jar-with-dependencies</descriptorRef>
  107.                 </descriptorRefs>
  108.             </configuration>
  109.             <executions>
  110.                 <execution>
  111.                     <id>make-assembly</id>
  112.                     <phase>package</phase>
  113.                     <goals>
  114.                         <goal>single</goal>
  115.                     </goals>
  116.                 </execution>
  117.             </executions>
  118.         </plugin>
  119.     </plugins>
  120. </build>

（2）注释检查点相关配置及并行度设置，如下

  1. // 3.1 启用检查点
  2. // env.enableCheckpointing(60 * 1000L, CheckpointingMode.EXACTLY_ONCE);
  3. // 3.2 设置相邻两次检查点最小间隔
  4. // env.getCheckpointConfig().setMinPauseBetweenCheckpoints(30 * 1000L);
  5. // 3.3 设置取消 Job 时检查点的清理模式
  6. // env.getCheckpointConfig().setExternalizedCheckpointCleanup(
  7. //        CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION
  8. // );
  9. // 3.4 设置状态后端类型
  10. // env.setStateBackend(new HashMapStateBackend());
  11. // 3.5 设置检查点存储路径
  12. // env.getCheckpointConfig().setCheckpointStorage("hdfs://mycluster/tms/ck/test");
  13.  
  14.  
  15. // 并行度设置，部署时应注释，通过 args 指定全局并行度
  16. // env.setParallelism(4);

（3）打包上传带有依赖的jar包

  1. [admin@hadoop102 job]$ cd /opt/module/flink-1.16.1/
  2. [admin@hadoop102 flink-1.16.1]$ mkdir job
  3. [admin@hadoop102 flink-1.16.1]$ cd job/
  4. [admin@hadoop102 job]$ ll
  5. 总用量 96984
  6.  
  7. -rw-r--r-- 1 admin admin 99309838 12月 28 15:51 tms-realtime-1.0-SNAPSHOT-jar-with-dependencies.jar

（4）首次提交job

命令如下。

  1. flink run \
  2. # 指定 Job 提交模式为 yarn-per-job
  3. -t yarn-per-job \
  4. # 并行度为4
  5. -p 4 \
  6. # 以守护进程的方式提交 Job，提交过程不会阻塞页面
  7. -d \
  8. # 指定 Job 名称
  9. -Dyarn.application.name=OdsApp \
  10. # 指定 Job 所处的 Yarn 队列
  11. -Dyarn.application.queue=default \
  12. # 指定 JobManager 所占用的内存大小
  13. -Djobmanager.memory.process.size=1g \
  14. # 指定 TaskManager 所占用的内存大小
  15. -Dtaskmanager.memory.process.size=1536mb \
  16. # 指定每个 TaskManager 的 Slot 数量
  17. -Dtaskmanager.numberOfTaskSlots=2 \
  18. # 指定管理内存大小，如果不适用 RocksDB 状态后端且没有排序等复杂操作可以设置为0
  19. -Dtaskmanager.memory.managed.size=0 \
  20. # 相邻两次检查点触发的时间间隔
  21. -Dexecution.checkpointing.interval='30 s' \
  22. # 语义（精准一次、至少一次），此处为精准一次，当上游多个并行度进入下游一个并行度时，若某个并行度的 barrier 先到达则会阻塞该并行度的后续处理，直至其余并行度 barrier 到达，完成检查点同步后方可继续处理。如果不阻塞则语义为至少一次
  23. -Dexecution.checkpointing.mode=EXACTLY_ONCE \
  24. # 单次检查点完成的超时时间（最长时间）
  25. -Dexecution.checkpointing.timeout='1 min' \
  26. # 相邻检查点的最小时间间隔（从上一个检查点结束到下一个检查点触发的最小时间间隔
  27. -Dexecution.checkpointing.min-pause='20 s' \
  28. # 取消 Job 时检查点的保存策略，此处表示取消 Job 时保留检查点
  29. -Dexecution.checkpointing.externalized-checkpoint-retention=RETAIN_ON_CANCELLATION \
  30. # Job 失败时的重启策略，此处为失败率重启，即声明指定时间间隔内重启最大次数的策略
  31. -Drestart-strategy=failure-rate \
  32. # 相邻两次 Job 重启的最小时间间隔
  33. -Drestart-strategy.failure-rate.delay='3 min' \
  34. # 重启次数重置的时间间隔
  35. -Drestart-strategy.failure-rate.failure-rate-interval='1 d' \
  36. # 声明指定时间内的最大重启次数
  37. -Drestart-strategy.failure-rate.max-failures-per-interval=10 \
  38. # 状态后端类型，可选项：hashmap，rockdb，分别对应全部基于内存哈希表的状态后端和基于内嵌 RocksDB 数据库的状态后端
  39. -Dstate.backend=hashmap \
  40. # 检查点存储介质，可选项：jobmanager、filesystem，分别对应 JobManager 堆内存和文件系统
  41. -Dstate.checkpoint-storage=filesystem \
  42. # 指定检查点在文件系统的存储路径，要求上一配置项取值为 filesystem
  43. -Dstate.checkpoints.dir=hdfs://mycluster/tms/ck/ods_app \
  44. # 指定 Job 中数据的编码方式为 UTF-8，如果不指定，则中文乱码
  45. -Denv.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" \
  46. # 指定主类名
  47. -c com.admin.tms.realtime.app.ods.OdsApp \
  48. # 指定 Jar 包路径
  49. /opt/module/flink-1.16.1/job/tms-realtime-1.0-SNAPSHOT-jar-with-dependencies.jar \
  50. # 指定访问 Hadoop 的用户名为其超级用户 admin，与代码中指定的默认值相同，此处可以省略
  51. --HADOOP_USER_NAME admin \
  52. # 指定模拟数据的日期，生产环境不需要
  53. --mock_date 2023-01-10

（5）停止Job

第二次及之后启动Job应从上次记录的位置继续读取数据，因此需要有检查点或保存点，二者的区别在于前者是Flink自动生成的，后者是手动触发的。生产环境下Flink Job应常驻，仅在需要新增功能或调整配置信息时才需要重启。Job的重启应由两个步骤组成，如下。

① 手动触发保存点

② 修改完成后从手动触发的保存点重启

此处对步骤①进行说明，保存点手动触发命令如下。
 

  1. flink stop \
  2. # 手动触发的保存点存储路径
  3. --savepointPath hdfs://mycluster/tms/sp/ods_app \
  4. # Flink JobId
  5. a22d74cae0db7db9c206ed8cb0d1ecaa \
  6. # Flink Job在 Yarn 的 application ID
  7. -yid application_1672211800662_0002

JobId可以通过Flink WebUI查看，如下。

Flink Job在Yarn的application ID可以通过其WebUI页面查看，如下。

（6）从检查点或保存点重启

重启需要指定到_metadata目录的上级路径。当Job故障达到最大重启次数最终失败时没有最新状态的保存点，此时应从检查点重启。

① 从检查点重启

如果不需要调整配置，则与首次提交命令唯一的区别在于需要指定历史检查点路径，如下。

  1. flink run -t yarn-per-job -p 4 -d \
  2. # 指定检查点存储路径，需要指定到 _metadata 目录的上级路径
  3. -s hdfs://mycluster/tms/ck/ods_app/1cad146250d7a4f564efe0307bce479a/chk-221 \
  4. -Dyarn.application.name=OdsApp \
  5. -Dyarn.application.queue=default \
  6. -Djobmanager.memory.process.size=1g \
  7. -Dtaskmanager.memory.process.size=1536mb \
  8. -Dtaskmanager.numberOfTaskSlots=2 \
  9. -Dtaskmanager.memory.managed.size=0 \
  10. -Dexecution.checkpointing.interval='30 s' \
  11. -Dexecution.checkpointing.mode=EXACTLY_ONCE \
  12. -Dexecution.checkpointing.timeout='1 min' \
  13. -Dexecution.checkpointing.min-pause='20 s' \
  14. -Dexecution.checkpointing.externalized-checkpoint-retention=RETAIN_ON_CANCELLATION \
  15. -Drestart-strategy=failure-rate \
  16. -Drestart-strategy.failure-rate.delay='3 min' \
  17. -Drestart-strategy.failure-rate.failure-rate-interval='1 d' \
  18. -Drestart-strategy.failure-rate.max-failures-per-interval=10 \
  19. -Dstate.backend=hashmap \
  20. -Dstate.checkpoint-storage=filesystem \
  21. -Dstate.checkpoints.dir=hdfs://mycluster/tms/ck/ods_app \
  22. -Denv.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" \
  23. -c com.admin.tms.realtime.app.ods.OdsApp \
  24. /opt/module/flink-1.16.1/job/tms-realtime-1.0-SNAPSHOT-jar-with-dependencies.jar \
  25. --HADOOP_USER_NAME admin \
  26. --mock_date 2023-01-10

② 从保存点重启

如果不需要调整配置，将①中的检查点路径更换为保存点路径即可，如下。

  1. flink run -t yarn-per-job -p 4 -d \
  2. # 指定保存点存储路径，需要指定到 _metadata 目录的上级路径
  3. -s hdfs://mycluster/tms/sp/ods_app/savepoint-a22d74-42e58a5e8420 \
  4. -Dyarn.application.name=OdsApp \
  5. -Dyarn.application.queue=default \
  6. -Djobmanager.memory.process.size=1g \
  7. -Dtaskmanager.memory.process.size=1536mb \
  8. -Dtaskmanager.numberOfTaskSlots=2 \
  9. -Dtaskmanager.memory.managed.size=0 \
  10. -Dexecution.checkpointing.interval='30 s' \
  11. -Dexecution.checkpointing.mode=EXACTLY_ONCE \
  12. -Dexecution.checkpointing.timeout='1 min' \
  13. -Dexecution.checkpointing.min-pause='20 s' \
  14. -Dexecution.checkpointing.externalized-checkpoint-retention=RETAIN_ON_CANCELLATION \
  15. -Drestart-strategy=failure-rate \
  16. -Drestart-strategy.failure-rate.delay='3 min' \
  17. -Drestart-strategy.failure-rate.failure-rate-interval='1 d' \
  18. -Drestart-strategy.failure-rate.max-failures-per-interval=10 \
  19. -Dstate.backend=hashmap \
  20. -Dstate.checkpoint-storage=filesystem \
  21. -Dstate.checkpoints.dir=hdfs://mycluster/tms/ck/ods_app \
  22. -Denv.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" \
  23. -c com.admin.tms.realtime.app.ods.OdsApp \
  24. /opt/module/flink-1.16.1/job/tms-realtime-1.0-SNAPSHOT-jar-with-dependencies.jar \
  25. --HADOOP_USER_NAME admin \
  26. --mock_date 2023-01-10

（7）测试

启动Kafka命令行消费者，命令如下

[admin@hadoop103 ~]$ kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic tms_ods

消费到的部分数据如下

{"op":"r","after":{"end_org_name":"湖北省武汉市转运中心","truck_id":454,"create_time":"2023-01-09T16:50:42Z","driver1_emp_id":1103,"start_org_id":259,"line_id":453,"start_org_name":"湖北省武汉市汉南区转运站","driver1_name":"俞珊莎","update_time":"2023-01-09T19:10:57Z","is_deleted":"0","shift_id":908,"actual_distance":69.00,"actual_end_time":1673291457000,"id":100312,"order_num":0,"truck_no":"鄂B2CMQ0","actual_start_time":1673287247000,"end_org_id":19,"status":"67004"},"source":{"server_id":0,"version":"1.5.4.Final","file":"","connector":"mysql","pos":0,"name":"mysql_binlog_source","row":0,"ts_ms":0,"snapshot":"false","db":"tms","table":"transport_task"},"ts":1672214547625}

（8）编写FlinkCDC启停脚本flink-cdc.sh

  1. [admin@hadoop102 bin]$ cd
  2. [admin@hadoop102 ~]$ cd bin
  3. [admin@hadoop102 bin]$ vim flink-cdc.sh

 在脚本中写入以下内容，而后保存退出。

  1. #!/bin/bash
  2.  
  3. # 将昨日格式化为 yyyy-MM-dd 字符串，作为 mock_date 的默认值
  4. yesterday=`date -d "-1 day" +%F`
  5.  
  6. # 校验参数，不合法警告并退出
  7. if [ $1 = "initial" ]
  8. then 
  9. 	# 首次启动 Job 时判断是否有第二个参数，若没有则使用昨天日期，否则将其传递给 mock_date
  10. 	if [ q$2 = q ]
  11. 	then
  12. 		mock_date=$yesterday
  13. 	else
  14. 		mock_date=$2
  15. 	fi
  16. elif [ $1 = "start" ]
  17. then
  18. 	# 从检查点或保存点启动需要传入存储路径，若没有则退出
  19.     if [ q$2 = q ]
  20.     then 
  21.         echo "请传入检查点或保存点存储路径"
  22.         exit
  23.     elif [ q$3 = q ]
  24.     then
  25.     	mock_date=$yesterday
  26.     else
  27.     	mock_date=$3
  28.     fi
  29. elif [ $1 = "stop" ]
  30. then
  31. 	# 停止 Job 需要传入 JobID 和 application ID，第二个参数为 JobID，没有则退出
  32.     if [ q$2 = q ]
  33.     then 
  34.         echo "请传入Flink-CDC JobID"
  35.         exit
  36.     # 若没有第三个参数则退出
  37.     elif [ q$3 = q ]
  38.     then 
  39.         echo "请传入Flink-CDC 在 Yarn 的 application ID"
  40.         exit
  41.     fi
  42. fi
  43.  
  44. case $1 in
  45. "initial")
  46.     flink run -t yarn-per-job -p 4 -d \
  47.     -Dyarn.application.name=OdsApp \
  48.     -Dyarn.application.queue=default \
  49.     -Djobmanager.memory.process.size=1g \
  50.     -Dtaskmanager.memory.process.size=1536mb \
  51.     -Dtaskmanager.numberOfTaskSlots=2 \
  52.     -Dtaskmanager.memory.managed.size=0 \
  53.     -Dexecution.checkpointing.interval='30 s' \
  54.     -Dexecution.checkpointing.mode=EXACTLY_ONCE \
  55.     -Dexecution.checkpointing.timeout='1 min' \
  56.     -Dexecution.checkpointing.min-pause='20 s' \
  57.     -Dexecution.checkpointing.externalized-checkpoint-retention=RETAIN_ON_CANCELLATION \
  58.     -Drestart-strategy=failure-rate \
  59.     -Drestart-strategy.failure-rate.delay='3 min' \
  60.     -Drestart-strategy.failure-rate.failure-rate-interval='1 d' \
  61.     -Drestart-strategy.failure-rate.max-failures-per-interval=10 \
  62.     -Dstate.backend=hashmap \
  63.     -Dstate.checkpoint-storage=filesystem \
  64.     -Dstate.checkpoints.dir=hdfs://mycluster/tms/ck/ods_app \
  65.     -Denv.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" \
  66.     -c com.admin.tms.realtime.app.ods.OdsApp \
  67.     /opt/module/flink-1.16.1/job/tms-realtime-1.0-SNAPSHOT-jar-with-dependencies.jar \
  68.     --HADOOP_USER_NAME admin \
  69.     --mock_date $mock_date
  70.     ;;
  71. "start")
  72.     flink run -t yarn-per-job -p 4 -d \
  73.     -s $2 \
  74.     -Dyarn.application.name=OdsApp \
  75.     -Dyarn.application.queue=default \
  76.     -Djobmanager.memory.process.size=1g \
  77.     -Dtaskmanager.memory.process.size=1536mb \
  78.     -Dtaskmanager.numberOfTaskSlots=2 \
  79.     -Dtaskmanager.memory.managed.size=0 \
  80.     -Dexecution.checkpointing.interval='30 s' \
  81.     -Dexecution.checkpointing.mode=EXACTLY_ONCE \
  82.     -Dexecution.checkpointing.timeout='1 min' \
  83.     -Dexecution.checkpointing.min-pause='20 s' \
  84.     -Dexecution.checkpointing.externalized-checkpoint-retention=RETAIN_ON_CANCELLATION \
  85.     -Drestart-strategy=failure-rate \
  86.     -Drestart-strategy.failure-rate.delay='3 min' \
  87.     -Drestart-strategy.failure-rate.failure-rate-interval='1 d' \
  88.     -Drestart-strategy.failure-rate.max-failures-per-interval=10 \
  89.     -Dstate.backend=hashmap \
  90.     -Dstate.checkpoint-storage=filesystem \
  91.     -Dstate.checkpoints.dir=hdfs://mycluster/tms/ck/ods_app \
  92.     -Denv.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" \
  93.     -c com.admin.tms.realtime.app.ods.OdsApp \
  94.     /opt/module/flink-1.16.1/job/tms-realtime-1.0-SNAPSHOT-jar-with-dependencies.jar \
  95.     --HADOOP_USER_NAME admin \
  96.     --mock_date $mock_date
  97.     ;;
  98. "stop")
  99.     flink stop \
  100.     --savepointPath hdfs://mycluster/tms/sp/ods_app \
  101.     $2 \
  102.     -yid $3
  103.     ;;
  104. "*")
  105.     echo "参数不合法，第一个参数必须为 initial | start | stop"
  106.     ;;
  107. esac

脚本用法如下。

① 初次启动

  1. [admin@hadoop102 bin]$ flink-cdc.sh initial \
  2. # 日期可省略
  3. 2023-01-10

部分日志如下

$ echo "stop" | ./bin/yarn-session.sh -id application_1672211800662_0011

If this should not be possible, then you can also kill Flink via YARN's web interface or via:

$ yarn application -kill application_1672211800662_0011

Note that killing Flink might not clean up all job artifacts and temporary files.

2022-12-28 19:43:23,873 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Found Web Interface hadoop103:42536 of application 'application_1672211800662_0011'.

Job has been submitted with JobID be0b720d9982d10a4fdca66b60637aff

② 停止

部分参数需要用户依据实际情况修改，下文同理。

[admin@hadoop102 bin]$ flink-cdc.sh stop be0b720d9982d10a4fdca66b60637aff application_1672211800662_0011

部分日志如下

Suspending job "434405fe813ea29eb152c0d93b6b1792" with a savepoint.

2022-12-28 19:47:30,341 INFO  org.apache.hadoop.yarn.client.RMProxy                        [] - Connecting to ResourceManager at hadoop103/192.168.10.103:8032

2022-12-28 19:47:30,636 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar

2022-12-28 19:47:30,723 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Found Web Interface hadoop102:43407 of application 'application_1672211800662_0012'.

Savepoint completed. Path: hdfs://mycluster/tms/sp/ods_app/savepoint-434405-ca9094d9fa45

 ③ 从检查点或保存点重启

  1. [admin@hadoop102 bin]$ flink-cdc.sh start hdfs://mycluster/tms/sp/ods_app/savepoint-434405-ca9094d9fa45 \
  2. # 日期可省略
  3. 2023-01-10

部分日志如下

$ echo "stop" | ./bin/yarn-session.sh -id application_1672211800662_0013

If this should not be possible, then you can also kill Flink via YARN's web interface or via:

$ yarn application -kill application_1672211800662_0013

Note that killing Flink might not clean up all job artifacts and temporary files.

2022-12-28 19:48:15,676 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Found Web Interface hadoop102:38301 of application 'application_1672211800662_0013'.

Job has been submitted with JobID a39e9b72a89c75c27216a149c6bae0ca

4、总结

        对增量同步工具Flink-CDC的介绍和使用。还有保存点和检查点在实际生产环境上的使用。

        有帮助的话请点个赞吧！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/901985
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号