赞
踩
Broadcast State 是 Flink 1.5 引入的新特性。在开发过程中,如果遇到需要下发/广播配置、规则等低吞吐事件流到下游所有 task 时,就可以使用 Broadcast State 特性。下游的 task 接收这些配置、规则并保存为 BroadcastState, 将这些配置应用到另一个数据流的计算中 。英语好的同学可以直接移步 Flink 官方介绍
Broadcast State 区别于其他 operator state 的地方有:
下面从一个示例来认识如何使用 Broadcast state. 我们对 wordcount 的例子都很熟悉,就简单改造下 wordcount吧。我们的改造目标是:实时控制输出结果中的单词长度。
首先大体说一下思路,准备两个流,一个数据流(wordcount 需要统计的流) A,一个配置流(即广播流,后面有生成方法) B,这两个流的来源都可以自己定义,这里我们都用 kafka 作为输入源;然后用 A.ke
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。