当前位置:   article > 正文

Flink的四大基石_flink rocksdb 与 filesystem

flink rocksdb 与 filesystem

在这里插入图片描述

1.Checkpoint

Checkpoint 本质就是对State的备份, 持久化到文件系统比如HDFS中

检查点机制

  • 目的
    为了保证程序发生故障时状态不丢也不错,它是保证状态一致性而不是数据一致性。

  • 原理
    使用异步屏障快照Asynchronous Barrier Snapshotting(简称 ABS)算法(依赖于Chandy-Lamport算法的变种)实现分布式快照。

2.State

状态

在这里插入图片描述

  • 状态类型
    1)原生状态(Raw State
    Raw State是开发者自己管理的,需要自己序列化。
    2)托管状态(Managed State
    Managed State是由Flink管理的,Flink帮忙存储、恢复和优化。Managed State再进行细分,由两种类型:Keyed StateOperator State
    Keyed State 按键分区状态:一个SubTask有多个State,每一个Key对应一个State。有ValueState,ListState,MapState等
    Operator State 算子状态:一个SubTask有一个State。有ListState,BroadcastState等
    算子状态: 列表状态 ListState, 联合列表状态 UnionListState, 广播状态 BroadcastState
    按键分区状态: 值状态 ValueState, 列表状态 ListState, 映射状态 MapState, 聚合状态 AggregateState, reducingState 归约状态
  • 状态后端
    Flink 内置了以下这些开箱即用的 state backends
    HashMapStateBackend:状态数据以 Java 对象的形式存储在堆中。
    EmbeddedRocksDBStateBackend:状态数据保存在 RocksDB 数据库中,数据被以序列化字节数组的方式存储,RocksDB 数据库默认将数据存储在 TaskManager 的数据目录。
    如果不设置,默认使用 HashMapStateBackend
  • 在Flink1.13版本对状态后端进行了改进,帮助用户更好理解本地状态存储和 checkpoint 存储的区分。
    1)MemoryStateBackend
    旧版本的 MemoryStateBackend 等价于使用 HashMapStateBackend 和 JobManagerCheckpointStorage。
    2)FsStateBackend
    旧版本的 FsStateBackend 等价于使用 HashMapStateBackend 和 FileSystemCheckpointStorage。
    3)RocksDBStateBackend
    旧版本的 RocksDBStateBackend 等价于使用 EmbeddedRocksDBStateBackend 和 FileSystemCheckpointStorage。使用RocksDB状态后端可以设置增量检查点,RocksDB是一个基于LSM树的KV存储。

Checkpoint 本质就是对State的备份

3.Time

时间语义和水平线

  • 时间语义
    Flink在1.12版本后默认使用Event Time
    1)处理时间(Process Time)数据进入Flink被处理的系统时间(Operator处理数据的系统时间)
    2)事件时间(Event Time)数据在数据源产生的时间,一般由事件中的时间戳描述,比如用户日志中的TimeStamp。
    3)摄取时间(Ingestion Time)数据进入Flink的时间,记录被Source节点观察到的系统时间。
  • 水位线
    flink1.11中对flink的水印生成接口进行了重构,创建watermark主要有以下三种方式
    1)使用createWatermarkGenerator 创建watermark。
    2)使用固定延时策略生成水印,调用WatermarkStrategy中的静态方法forBoundedOutOfOrderness
    3)使用单调递增的方式生成水印,调用WatermarkStrategy中的静态方法forMonotonousTimestamps

事件时间的独立标准为水平线

4.Window

无界流转化为有节流分析的手段

  • 窗口:
    窗口Api:
    1)Keyed Windows, 按键窗口
    2)Non-Keyed Windows: 非按键窗口
    窗口分配数据分类:
    1)Tumbling Windows(滚动窗口): 事件时间的滚动窗口, 处理时间的滚动窗口
    2)Sliding Windows(滑动窗口): 事件时间的滑动窗口, 处理时间的滑动窗口
    3)Session Windows(会话窗口): 事件时间的会话窗口, 处理时间的会话窗口
    4)Global Windows(全局窗口)
    驱动类型分类:
    1) 时间窗口: 事件时间, 处理时间,
    2) 计数窗口

在这里插入图片描述

  • 窗口函数
    1)增量窗口函数
    ①ReduceFunction
    ②AggregateFunction
    可以统计窗口内数据的个数,进行求平均值等等。(局部计算,全局和并。)
    2)全量窗口函数
    ProcessWindowFunction
    这个函数更加灵活,但是延迟性更高,且牺牲一定存储空间。
    3)增量和全量窗口函数混合使用
    兼顾两者优点
    ReduceFunction+ProcessWindowFunction

    AggregateFunction+ProcessWindowFunction

在这里插入图片描述

事件时间的度量标志为水平线, 事件时间应用于窗口中

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小桥流水78/article/detail/891466
推荐阅读
相关标签
  

闽ICP备14008679号