EMR StarRocks实战——Mysql数据实时同步到SR

   文章摘抄阿里云EMR上的StarRocks实践：《基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks》

前言

     CTAS可以实现单表的结构和数据同步，CDAS可以实现整库同步或者同一库中的多表结构和数据同步。下文主要介绍如何使用Flink平台和E-MapReduce StarRocks，通过CTAS&CDAS功能实现实时数仓中TP（Transaction Processing）和AP（Analytical Processing）数据同步的场景。

一、背景信息

  通过CTAS（CREATE TABLE AS）语句可以在StarRocks中自动创建和Mysql中表结构一致的表，并进行数据同步，还能实时同步上游（Schema）的变更到下游表，提高在目标存储中创建表和维护源表结构变更的效率。

 当执行CTAS语句时，Flink会按照以下流程执行：

（1）检查目标存储中是否存在该目标表。

• 如果不存在，则通过目标端Catalog在目标存储中创建相应的目标表，该目标表具有和数据源相同的Schema
• 如果不存在，则跳过建表。如果已存在的目标表和源表Schema不一致，则会报错提示。

（2）提交和启动相应的数据同步作业。同步数据源的数据以及Schema的变更到目标表中。

      表结构变更同步策略通过CTAS语句，在实时同步数据的同时，还能同步源表Schema的变更到目标表中。

    Schema变更包括初始表的创建以及未来表的变更。

 1.当前支持同步的Schema变更：

• 添加可空列：自动在目标表Schema末尾添加对应的列，并自动同步新增列的数据
• 删除可空列：不会直接在目标表中删除该列，而是将该列的数据自动填充为null值
• 重命名列：被看做添加列和删除列。直接在目标表中末尾添加重命名后的列，并将重命名前的列数据自动填充为NULL值。例如，如果col_a重命名为col_b，则会在目标表末尾添加col_b，并自动将col_a的数据填充为NULL值。

 2.暂不支持同步的Schema变更：

• 数据类型的变更：例如由VARCHAR变为BIGINT，由NOT NULL变为NULLABLE属性。
• 主键或索引等约束的变更
• 非空列的增加或删除的变更
• DDL中字段长度的调整

3.注意事项：

• 如果遇到不支持的Schema变更，则需要您手动删除下游目标表，重新启动CTAS作业，即重新创建目标表并重新同步历史数据。

• CTAS不会识别具体的DDL类型，而是对比前后两条数据的Schema差异。因此，如果您先删除了某列后，又加回了该列，且这两个DDL之间无数据变化，则CTAS会认为没有发生结构变更。同理，如果您添加了一列，直到该表有数据变化，CTAS才会感知到结构变更，才会同步结构变更到目标表。

• 通过CTAS建表支持的字段类型信息，见文章：数据类型概述 | StarRocks

二、同步测试

  Mysql数据实时同步到StarRocks（SR）的操作流程，参见文章地址：
基于Flink平台同步MySQL数据至StarRocks_开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心CTAS可以实现单表的结构和数据同步，CDAS可以实现整库同步或者同一库中的多表结构和数据同步。本文为您介绍如何使用实时计算Flink平台和E-MapReduce StarRocks通过CTAS&CDAS功能实现实时数仓中TP（Transaction Processing）和AP（Analytical Processing）数据同步的场景。https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/use-the-ctas-and-cdas-statements-of-realtime-compute-for-apache-flink-to-synchronize-data-from-an-apsaradb-rds-for-mysql-instance-to-a-starrocks-cluster?spm=a2c4g.11186623.0.0.4aee4d38LFbGou

  参考文章：

基于Flink平台同步MySQL数据至StarRocks_开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心