Spark实时（二）：StructuredStreaming编程模型

作者：黑客灵魂 | 2024-07-26 20:25:13

踩

文章目录

StructuredStreaming编程模型

StructuredStreaming编程模型

Structured Streaming处理实时数据思想是将实时数据看成一张没有边界的表，数据源源不断的追加到这张表中，这可以让我们能像处理批数据一样处理实时数据。如下图所示，每条实时数据到来之后都对应“无界表”中的一条数据追加到表中。

以WordCount为例，Spark会针对每次增量的数据进行计算，将结果输出出来，如下图所示：

注意：StructuredStreaming并不会将每次输出的数据物化存储起来，而是每次计算都将结果状态保存起来，下个批次计算是基于当前批次数据

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/黑客灵魂/article/detail/887076