赞
踩
扫一扫加入大数据公众号和技术交流群,了解更多大数据技术,还有免费资料等你哦
Flink的Accumulators(累加器)相比spark的累加器,使用起来是非常简单的。通过一个add操作累加最终的结果,在flink任务执行完可以获取最终结果,通过累加器我们可以获取flink任务某些指标的全局值,没有累加器你只能获取单个分区的值,所以累加器在调试程序或者更快了解你的flink任务运行数据的时候是非常有用的。
在你需要使用累加器的transformation算子中创建你的累加器,并给累加器命名,累加器的名称是全局唯一的。另外transformation算子最好是RichFunction,比如在RichMapFunction中创建一个累加器对象(在这是一个counter)。
MapOperator
赞
踩
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。