Flink的四大基石_flink rocksdb 与 filesystem

1.Checkpoint

Checkpoint 本质就是对State的备份, 持久化到文件系统比如HDFS中

检查点机制

• 目的
  为了保证程序发生故障时状态不丢也不错，它是保证状态一致性而不是数据一致性。

• 原理
  使用异步屏障快照Asynchronous Barrier Snapshotting（简称 ABS）算法（依赖于Chandy-Lamport算法的变种）实现分布式快照。

2.State

状态

• 状态类型
  1）原生状态（Raw State）
  Raw State是开发者自己管理的，需要自己序列化。
  2）托管状态（Managed State）
  Managed State是由Flink管理的，Flink帮忙存储、恢复和优化。Managed State再进行细分，由两种类型：Keyed State和Operator State。
  Keyed State 按键分区状态：一个SubTask有多个State，每一个Key对应一个State。有ValueState，ListState，MapState等
  Operator State 算子状态：一个SubTask有一个State。有ListState,BroadcastState等
  算子状态: 列表状态 ListState, 联合列表状态 UnionListState, 广播状态 BroadcastState
  按键分区状态: 值状态 ValueState, 列表状态 ListState, 映射状态 MapState, 聚合状态 AggregateState, reducingState 归约状态
• 状态后端
  Flink 内置了以下这些开箱即用的 state backends ：
  ①HashMapStateBackend：状态数据以 Java 对象的形式存储在堆中。
  ②EmbeddedRocksDBStateBackend：状态数据保存在 RocksDB 数据库中，数据被以序列化字节数组的方式存储，RocksDB 数据库默认将数据存储在 TaskManager 的数据目录。
  如果不设置，默认使用 HashMapStateBackend。
• 在Flink1.13版本对状态后端进行了改进，帮助用户更好理解本地状态存储和 checkpoint 存储的区分。
  1）MemoryStateBackend
  旧版本的 MemoryStateBackend 等价于使用 HashMapStateBackend 和 JobManagerCheckpointStorage。
  2）FsStateBackend
  旧版本的 FsStateBackend 等价于使用 HashMapStateBackend 和 FileSystemCheckpointStorage。
  3）RocksDBStateBackend
  旧版本的 RocksDBStateBackend 等价于使用 EmbeddedRocksDBStateBackend 和 FileSystemCheckpointStorage。使用RocksDB状态后端可以设置增量检查点，RocksDB是一个基于LSM树的KV存储。

Checkpoint 本质就是对State的备份

3.Time

时间语义和水平线

• 时间语义
  Flink在1.12版本后默认使用Event Time
  1）处理时间（Process Time）数据进入Flink被处理的系统时间（Operator处理数据的系统时间）
  2）事件时间（Event Time）数据在数据源产生的时间，一般由事件中的时间戳描述，比如用户日志中的TimeStamp。
  3）摄取时间（Ingestion Time）数据进入Flink的时间，记录被Source节点观察到的系统时间。
• 水位线
  flink1.11中对flink的水印生成接口进行了重构，创建watermark主要有以下三种方式
  1）使用createWatermarkGenerator 创建watermark。
  2）使用固定延时策略生成水印，调用WatermarkStrategy中的静态方法forBoundedOutOfOrderness。
  3）使用单调递增的方式生成水印，调用WatermarkStrategy中的静态方法forMonotonousTimestamps。

事件时间的独立标准为水平线

4.Window

无界流转化为有节流分析的手段

• 窗口:
  窗口Api:
  1）Keyed Windows, 按键窗口
  2）Non-Keyed Windows: 非按键窗口
  窗口分配数据分类:
  1）Tumbling Windows(滚动窗口): 事件时间的滚动窗口, 处理时间的滚动窗口
  2）Sliding Windows(滑动窗口): 事件时间的滑动窗口, 处理时间的滑动窗口
  3）Session Windows(会话窗口): 事件时间的会话窗口, 处理时间的会话窗口
  4）Global Windows（全局窗口）
  驱动类型分类:
  1） 时间窗口: 事件时间, 处理时间,
  2） 计数窗口

• 窗口函数
  1）增量窗口函数
  ①ReduceFunction
  ②AggregateFunction
  可以统计窗口内数据的个数，进行求平均值等等。(局部计算，全局和并。)
  2）全量窗口函数
  ProcessWindowFunction
  这个函数更加灵活，但是延迟性更高，且牺牲一定存储空间。
  3）增量和全量窗口函数混合使用
  兼顾两者优点
  ReduceFunction+ProcessWindowFunction
  或
  AggregateFunction+ProcessWindowFunction

事件时间的度量标志为水平线, 事件时间应用于窗口中