深度剖析：Flink 检查点机制的工作原理与优化策略_flink的检查点是如何产生的

目录

CheckPoint

概念

配置

SavePoint

Barrier机制

检查点对齐机制

原理

优缺点

检查点非对齐机制

原理

适用场景拓展

优缺点

Exactly-Once消费语义

具体划分

Sink端实现

1.幂等写入

2.事务写入

预写日志

两阶段提交

总结

参考文章

---

CheckPoint

概念

Flink使用一种被称为"检查点"（checkpoint）的特性，在出现故障时将系统重置回正确状态。

检查点协调器（Checkpoint Coordinator）负责触发检查点的开始，但实际备份多少数据以及备份什么数据是由算子的当前状态和接收到的数据决定的。这里的“状态”指的是算子在处理数据流时维护的所有信息，例如，内部计数器、窗口数据、键控状态等。

根据配置的状态后端，状态可以是全量备份或增量备份。全量备份会复制整个状态，而增量备份只会复制自上一个检查点以来发生变化的状态部分。

配置

默认checkpoint功能是disabled的，想要使用的时候需要先启用，checkpoint开启之后， 
checkPointMode有两种，Exactly-once和At-least-once，默认的checkPointMode是Exactly-once， Exactly-once对于大多数应用来说是最合适的。At-least-once可能用在某些延迟超低的应用程序（始终 延迟为几毫秒）

默认checkpoint功能是disabled的，想要使用的时候需要先启用 
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment(); 
// 每隔1000 ms进行启动一个检查点【设置checkpoint