flink sink jdbc没有数据_Flink流处理API——Sink

本文主要从以下几个方面介绍Flink的流处理API——Sink

一、输出到Kafka

二、输出到Redis

三、输出到MySQL

数据处理的过程基本可以分为三个阶段分别是，数据从来哪里，做什么业务逻辑，落地到哪里去。

这三部分在Flink中分别被称为Source、Transform和Sink

其中Source部分可以参考这篇：Flink流处理API——Source

Flink 没有类似于 spark 中 foreach 方法，让用户进行迭代的操作。虽有对外的输出操作都要利用 Sink 完成。最后通过类似如下方式完成整个任务最终输出操作。

stream.addSink(new MySink(xxxx))

官方提供了一部分的框架的 sink。除此以外，需要用户自定义实现 sink。

Flink支持的Sink

版本：

scala：2.11.12

Kafka：0.8.2.2

Flink：1.7.2

Redis：3.2.9

MySQL：5.7.30

pom.xml依赖部分(log日志的依赖一定要加上，否则当Flink链接Kafka0.8时会报Failed to instantiate SLF4J LoggerFactory Reported exception错误)

org.apache.flink            flink-scala_2.11            1.7.2org.apache.flink            flink-streaming-scala_2.11            1.7.2providedorg.apache.flink            flink-clients_2.11            1.7.2org.apache.flink            flink-connector-kafka-0.8_2.11            1.7.2org.slf4j            slf4j-api            1.7.22org.slf4j