当前位置:   article > 正文

Flink 是如何保证 Exactly-once语义的?_flink 的 exactlyonce 语义怎么保证

flink 的 exactlyonce 语义怎么保证
Flink 通过实现两阶段提交和状态保存来实现端到端的一致性语义。
分为以下几个步骤:
  • 开始事务(beginTransaction)创建一个临时文件夹,来写把数据写入到这个文件夹里面。
  • 预提交(preCommit)将内存中缓存的数据写入文件并关闭。
  • 正式提交(commit)将之前写完的临时文件放入目标目录下。这代表着最终的数据会有一些延迟。
  • 丢弃(abort)丢弃临时文件。

若失败发生在预提交成功后,正式提交前。可以根据状态来提交预提交的数据,也可删除预提交的数据。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/381409
推荐阅读
相关标签
  

闽ICP备14008679号