flink数据同步mysql到hive_flink教程-flink 1.11 使用sql将流式数据写入hive

修改hive配置

上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性.  写入hive底层还是和写入文件系统一样的，所以对于其他具体的配置参考上一篇.

alter table table_name set TBLPROPERTIES ('is_generic'='false');

alter table table_name set TBLPROPERTIES ('sink.partition-commit.policy.kind'='metastore');

//如果想使用eventtime分区

alter table table_name set TBLPROPERTIES ('sink.partition-commit.trigger'='partition-time');

案例讲解

下面我们讲解一下，如何使用java程序来构建一个flink程序来写入hive。

引入相关的pom

org.apache.flink

flink-connector-hive_${scala.binary.version}

${flink.version}

org.apache.hive

hive-exec

3.1.2

构造hive catalog

//构造hive catalog

String name = "myhive";

String defaultDatabase = "default";

String hiveConfDir =