flinksql 回撤流中主键发生变更的影响（group by中的值发生改变）_flink sql回撤一定是-u吗

作者：小小林熬夜学编程 | 2024-06-06 06:05:37

踩

flink sql回撤一定是-u吗

flinksql 回撤流中，主键发生变更的影响

1 什么是回撤流
2 主键变更场景
- 2.2 实践发生
3 实践中发现的比较好的的实时数仓架构

1 什么是回撤流

这篇文章主要谈论一个场景，简单来说：
首先我们来简单的说一下什么是回撤流，以及回撤流的底层原理，举个例子：
在这里插入图片描述

这个说的不是很清晰，其实倒数第二个图当作输出比较好看出来，再bank 这一条来之后，数据结果是
hello 1
world 1
bank 1
这个时候又来了一条hello，刚刚已经下发的hello 1 这个结果就不对了，就需要降这条结果撤回，也就是撤回一条 hello 1 下发一条 hello 2。简单的说这就是回撤流。

我们用最常见的，用的最多的kafka来举例回撤流大家可能就明白了

来了一条hello数据下发一条
[+I] hello 1
又来了一条hello，上一条撤回
[-U] hello 1
下发一条
[

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/679836