Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系_stata checkpoint

一、什么是状态

无状态计算的例子： 例如一个加法算子，第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是，相同的输入都会得到相同的结果，与次数无关。
有状态计算的例子： 访问量的统计，我们都知道Nginx的访问日志一个请求一条日志，基于此我们就可以统计访问量。如下，/api/a这个url第一此访问的时候，返回的结果就是 count1，但当第二次访问的时候，返回的结果变成了2。为什么Flink知道之前已经处理过一次 hello world，这就是state发挥作用了，这里是被称为keyed state存储了之前需要统计的数据，keyby接口的调用会创建keyed stream对key进行划分，这是使用keyed state的前提。得出的结论就是，相同的输入得到不同的结果，与次数有关。这就是有状态的数据。

什么场景下会大量使用到这种状态数据啦？简单举几个例子：
【1】去重的需求中，比如说我们只想知道这100个同事都属于那几个部门的等等。
【2】窗口计算，已进入未触发的数据。比如，我们一分钟统计一次，1-2之间的1.5这个时候的数据对于2来说就是一个有状态的数据，因为2的结果与1.5有关。
【3】机器学习/深度学习，训练的模型及参数。这对于机器学习的同学深入感触。比如，第一次输入hello，机器会给我一个反馈，那么下次会基于这个反馈做进一步的学习处理。那么上一步的结果对于我而言就是一种有状态的输入。
【4】访问历史数据，需要与昨日进行对比。昨日的数据对于今日而言也属于一种状态。你品，你细品。

为什么要管理状态，用内存不香吗？首先流失作业是有它的标准的，不是什么东西随随便便就说自己这个是流失处理。首先，7*24小时运行，高可靠，你内存不行吧，你的容量总有用完的时候吧。其次，数据不丢失不重，恰好计算一次，你内存要实现需要备份和恢复，你还总伴随着小部分数据的丢失吧。最后，数据实时产生，不延迟，你内存不够横向扩展时，你需要延迟吧。

理想的状态管理就是下面描述的样子，Flink也都帮我们实现了。

二、状态的类型

Managed State & Raw State

Managed Stated 分为： Keyed Stated和Operator State
【1】Keyed Stated： 只能用于keyBy生成的KeyedStream上的算子。每一个key对应一个State，一个Operator实例处理多个Key，访问相应的多个State。相同Key会在相同的实例中处理。整个过程如果没有keyBy操作，它是没有KeyedStream的，而Keyed Stated只能应用在KeyedStream 上。

并发改变： State随着Key在实例间迁移。例如：实例A中之前处理KeyA与KeyB，后面我扩展了实例B，那么 实例A就只需要处理KeyA，KeyB就交给 实例B进行处理。安装状态进行分离，可以理解为分布式。

通过 RuntimeContext 访问，说明Operator是一个Rich Function，否则是拿不到RuntimeContext。

支持的数据结构： ValueState、ListState、ReducingState、AggregatingState、MapState

【2】Operator State： 可以用于所有的算子，常用于source上，例如FlinkKafkaConsumer。一个Operator实例对应一个State，所以一个Operator中会处理多个key，可以理解为集群。

并发改变： Operator State没有key，并发改变的时候就需要重新分配。内置了两种方案：均匀分配和合并后每个得到全量。

访问方式： 实现CheckpointedFunction或ListCheckpointed接口。

支持的数据结构： ListState

三、Keyed State 使用示例

什么是 keyed state： 对于keyed state，有两个特点：
【1】只能应用于KeyedStream 的函数与操作中，例如Keyed UDF, window state；
【2】keyed state是已经分区 / 划分好的，每一个 key 只能属于某一个 keyed state；
对于如何理解已经分区的概念，我们需要看一下keyby的语义，大家可以看到下图左边有三个并发，右边也是三个并发，左边的词进来之后，通过keyby会进行相应的分发。例如对于hello word，hello这个词通过hash运算永远只会到右下方并发的task上面去。

什么是 operator state
【1】又称为non-keyed state，每一个operator state都仅与一个operator的实例绑定。
【2】常见的operator state是source state，例如记录当前source的offset再看一段使用operator state的word count代码：

这里的fromElements会调用FromElementsFunction的类，其中就使用了类型为list state的operator state。如下几种Keyed State之间的依赖关系，都是state的子类。它们的访问方式和数据结构都有一定的区别。

举个ValueState的案例

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//获取数据流
DataStream<Event> events = env.addSource(source);

DataStream<Alert> alerts = events
        // 生成 keyedStata 通过 sourceAddress
        .keyBy(Event::sourceAddress)
        // StateMachineMapper 状态机
        .flatMap(new StateMachineMapper());


//我么看下状态机怎么写   实现 RichFlatMapFunction
@SuppressWarnings("serial")
static class StateMachineMapper extends RichFlatMapFunction<Event, Alert> {

    private ValueState<LeaderLatch.State> currentState;

    @Override
    public void open(Configuration conf) {
        // 获取一个 valueState
        currentState = getRuntimeContext().getState(
                new ValueStateDescriptor<>("state", State.class));
    }

    //来一条数据处理一条
    @Override
    public void flatMap(Event evt, Collector<Alert> out) throws Exception {
        // 获取 value
        State state = currentState.value();
        if (state == null) {
            state = State.Initial;//State 是本地的变量
        }

        // 把事件对状态的影响加上去，得到一个状态
        State nextState = state.transition(evt.type());

        //判断状态是否合法
        if (nextState == State.InvalidTransition) {
            //扔出去
            out.collect(new Alert(evt.sourceAddress(), state, evt.type()));
        }
        //是否不能继续转化了，例如取消的订单
        else if (nextState.isTerminal()) {
            // 从 state 中清楚掉
            currentState.clear();
        }
        else {
            // 修改状态
            currentState.update(nextState);
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52

四、CheckPoint 与 state 的关系

Checkpoint是从source触发到下游所有节点完成的一次全局操作。下图可以有一个对Checkpoint的直观感受，红框里面可以看到一共触发了 569K次Checkpoint，然后全部都成功完成，没有fail的。

**state 其实就是 Checkpoint 所做的主要持久化备份的主要数据，**看下图的具体数据统计，其state也就9kb大小 。

五、状态如何保存和恢复

Checkpoint定时制作分布式快照，对程序的状态进行备份。发生故障时，将整个作业的Task都回滚到最后一次成功Checkpoint中的状态，然后从保存的点继续处理。

必要条件： 数据源支持重发（如果不重发，丢失的消息就真的丢了）

一致性语义： 恰好一次（如果p相同，单线程，多个线程时，可能有的算子对其已经计算了一次了，有的没有就需要注意），至少一次。

//  获取运行环境
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//状态数据
//两个checkpoint 触发间隔设置1S，越频繁追的数据就越少，io消耗也越大
env.enableCheckpointing(1000);
//EXACTLY_ONCE语义说明 Checkpoint是要对替的，这样消息不会重复，也不会对丢。
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
//两个checkpoint 最少等待500ms 例如第一个checkpoint做了700ms按理300ms后就要做下一个checkpoint。但是它们之间的等待时间300ms<500ms 此时，就会延长200ms减少checkpoint过于频繁，影响业务。
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(500);
//checkpoint多久超时，如果这个checkpoint在1分钟内还没做完，那就失败了
env.getCheckpointConfig().setCheckpointTimeout(60000);
//同时最多有多少个checkpoint进行
env.getCheckpointConfig().setMaxConcurrentCheckpoints(1);
//当重新分配并发度，拆分task时，是否保存checkpoint。如果不保存就需要使用savepoint来保存数据，放到外部的介质中。
env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

Checkpoint vs Savepoint

可选的状态存储方式：
【1】MemoryStateBackend：构造方法：

MemoryStateBackend(int maxStateSize, boolean asynchronousSnapshots)
1

存储方式： State：TaskManager内存。Checkpoint：JobManager内存。
容量限制： 单个State maxStateSize默认5M。maxStateSize <= akka.framesize默认10M。总大小不超过JobManager内存。
推荐使用场景： 本地测试，几乎无状态的作业，比如ETL/JobManager不容易挂，或影响不大的情况。不推荐在生产场景使用。

【2】FsStateBackend： 构造方法：

FsStateBackend(URL checkpointDataUri, boolean asynchronousSnapshots)
1

存储方式： State：TaskManager内存。Checkpoint：外部文件系统（本地或HDFS）。
容量限制： 单个TaskManager上State总量不超过它的内存。总大小不超过配置的文件系统容量（会定期清理）。
推荐使用场景： 常规使用状态的作业，例如分钟级窗口聚合、join。需要开启HA的作业。可以在生产环境使用。

【3】RocksDBStateBackend： 构造方法：

RocksDBStateBackend(URL checkpointDataUri, boolean enableIncrementalCheckpointing)
1

存储方式： State：TaskManager上的KV数据库（实际使用内存+磁盘）。Checkpoint：外部文件系统（本地或HDFS）。
容量限制： 单个TaskManager上State总量不超过它的内存+磁盘，单个key 最大2G。总大小不超过配置的文件系统容量。
推荐使用场景： 超大状态的作业，例如天级窗口聚合。需要开启HA的作业。对状态读写性能要求比较高的作业。可以在生产环境使用。