当前位置:   article > 正文

Flink---WaterMark机制_flink watermark生成机制

flink watermark生成机制

背景

 使用Event time时间模型时,由于网络或传输等原因,事件被Flink处理的顺序不一定是事件产生的顺序(乱序),可能会存在两方面影响:

  1. 当前窗口不知道何时停止,开始计算结果;
  2. 影响窗口计算结果的准确性,见示例

WaterMark机制

 WaterMark本质上是一个带有时间戳的特殊event,当Flink中的运算符接收到水印时,它明白(假设)它不会看到比该时间戳更早的消息。

  A Watermark(t) declares that event time has reached time t in that stream, meaning that there should be no more elements from the stream with a timestamp t’ <= t (i.e. events with timestamps older or equal to the watermark).It can then safely compute and emit the result of the window

在这里插入图片描述

生成WaterMark

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/人工智能uu/article/detail/986342
推荐阅读
相关标签
  

闽ICP备14008679号