Flink的Checkpointing机制_flink checkpintfunction

作者：盐析白兔 | 2024-08-14 19:48:24

踩

flink checkpintfunction

Flink中的每个function和operator都可以是有状态的（有关详细信息请参阅有状态的运行）。有状态的functions通过处理各个元素/事件来存储数据，并把状态作为关键构建以支持任何类型更复杂的操作。

为了使状态能够容错，Flink需要状态的检查点。Flink通过检查点恢复流中的状态和位置，进而使得应用程序与无故障执行具有相同的语义。

关于流容错的文档详细介绍了Flink流容错机制的技术。

Flink的检查点机制与流和状态的持久化存储交互，一般来说该机制需要：

持久化的数据source，它可以在一定时间内重放事件。这种数据sources的典型例子是持久化的消息队列（比如Apache Kafka，RabbitMQ，Amazon Kinesis，Google PubSub）或文件系统（比如HDFS，S3，GFS，NFS，Ceph，。。。）。
用于状态的持久化存储器，通常是分布式文件系统（比如HDFS，S3，GFS，NFS，Ceph，。。。）

默认情况下&#

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/980551