大数据：流处理和批处理的不同_spark批处理和流处理的区别

作者：羊村懒王 | 2024-06-15 08:06:29

踩

spark批处理和流处理的区别

流与批的特点：

批处理的特点是有界、持久、大量，非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。

流处理的特点是无界、实时，无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。

应用场景：

在spark的计算中，一切都是由批次组成的，离线数据是一个大批次，而实时数据是由一个一个无限的小批次组成的。

而在flink的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流。这种以流为世界观的架构，获得的最大的好处就是具有极低的延迟。

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】