Flink / Scala - 20.Scala API Extensions 扩展_flink-extensions

目录

一.引言

二.使用说明

三.Extensions API

1.[DataStream] map => mapWith

2.[DataStream] flatMap => flatMapWith

3.[DataStream] filter => filterWith

4.[DataStream] keyBy => keyingBy

5.[ConnectedDataStream] map => mapWith

6.[ConnectedDataStream] flatMap => flatMapWith

7.[ConnectedDataStream] keyBy => keyingBy

8.[ConnectedDataStream] reduce => reduceWith

9.[WindowedStream] reduce => reduceWith

10.case Class Mix Demo

四.总结

---

一.引言

为了在 Scala 和 Java API 之间保持一定程度的一致性，在批处理和流式处理的标准 API 中，省略了 Scala 中允许高级表达的一些特性。 如果你想享受完整的 Scala 体验，你可以选择加入通过隐式转换增强 Scala API 的扩展。 要使用所有可用的扩展，只需为 DataStream API 添加一个简单的导入：

import org.apache.frink.streaming.api.scala.extensions_ 

上面的依赖针对于 DataStreaming，本文的 API 介绍也是基于 Flink 1.13.x 的 DataStreaming。如果想要在 DataSet 使用 Scala Extensions，请导入：

import org.apache.flink.api.scala.extensions._

二.使用说明

通常，DataStream API不接受匿名模式匹配函数来解构元组、case类或集合，如下所示：

val data: DataStream[(Int, String, Double)] = // [...]
data.map {
  case (id, name, temperature) => // [...]
  // The previous line causes the fo