Flink基础04-Flink中的时间语义和watermark_flink 配置semantic

目录：
Flink中的时间语义
设置Event Time
水位线(Watermark)
watermark的传递、引入和设定

Flink中的时间语义

Event Time : 事件创建的时间
Ingestion Time：数据进入Flink的时间
Processing Time：执行操作算子的本地系统时间，与机器有关
Event Time 可以从日志数据的时间戳(timestamp)中提取

设置Event Time
在代码中设置Event Time
对执行环境调用setStreamTimeCharacteristic方法，设置流的时间特性
具体的时间，还需要从数据中提取时间戳（timestamp）

乱序数据的影响

当Flink以Event Time模式处理数据流时，它会根据数据里的时间戳来处理基于时间的算子
由于网络、分布式等原因，会导致乱序数据的产生
乱序数据会让窗口计算不准确
水位线(Watermark)
怎样避免乱序数据带来计算不正确？
遇到一个时间戳达到了窗口关闭时间，不应该立马进行窗口计算，而是等待一段时间，等迟到的数据来了再关闭窗口
Watermark是一种衡量Event Time进展的机制，可以设定延迟触发
Watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark机制结合window来实现
数据流中的Watermark用于表示timestamp小于watermark的数据，都已经到达了，因此，window的执行也是由Watermark触发的
watermark用来让程序自己平衡延迟和结果正确性
Watermark的特点

watermark是一条特殊的数据记录
watermark必须单调递增，以确保任务的事件时间始终在向前推进，而不是在后退
watermark与数据的时间戳相关

watermark的传递、引入和设定
watermark的传递：

watermark的引入：
Event Time的使用一定要指定数据源中的时间戳
对于排好序的数据，只需要指定时间戳就够了，不需要延迟触发

对于排好序的数据，不需要延迟触发，可以只指定时间戳就行了

Flink暴露了TimestampAssigner接口供我们实现，使我们可以自定义如何从事件数据中抽取时间戳和生成watermark

MyAssigner可以有两种类型，都继承自TimestampAssigner

EventTime的使用一定要指定数据源中的时间戳
调用assignTimestampAndWatermarks方法，传入一个BoundedOurOfOrdernessTimestampExtractor，就可以指定watermark

TimestampAssigner
定义了抽取时间戳，以及生成watermark的方法，有两种类型
AssignerWithPeriodicWatermarks
周期性的生成watermark:系统会周期性的将watermark插入到流中
默认周期是200毫秒，可以使用ExecutionConfig.setAutoWatermarkInterval()方法进行设置
升序和前面乱序的处理BoundedOutOfOrderness，都是基于周期性watermark的
AssignerWithPunctuatedWatermarks
没有时间周期规律，可打断的生成watermark

watermark的设定
在Flink中，watermark由应用程序开发人员生成，这通常需要对相应的领域有一定的了解
如果watermark设置的延迟太久，收到结果的速度可能就会很慢，解决犯法是在水位线到达之前数据一个近似结果
而如果watermark到达得太早，则可能收到错误结果，不过Flink处理迟到数据的机制可以解决这个问题

附思维导图：