Spark6：Spark Steaming

参考

https://blog.csdn.net/howard2005/article/details/124835239

一、流计算概述

流计算是一种用于处理实时数据的计算模型。它可以在数据产生时立即进行处理，而不是等待数据被存储后再进行批量处理。流计算在许多应用中非常重要，如实时分析、监控、日志处理等。

静态数据、流数据

特点
实时处理、主动推送
大量、快速、时变、持续到达
低延迟、可扩展、高可靠

二、Spark Streaming

Spark Streaming是Apache Spark生态系统中的一部分，它是用于流处理的引擎。它提供了高度抽象的DStream（离散流）API，允许你以批处理方式来处理实时数据流。Spark Streaming可以与许多数据源集成，包括Kafka、Flume、HDFS、套接字流等。

模仿流计算
Spark是以线程级别并行，实时响应级别高
可以实现秒级响应，变相实现高效的流计算

Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理。

三、DStream

DStream是Spark Streaming的核心抽象，它代表了连续的数据流。DStream可以从各种数据源创建，然后通过一系列转换操作来处理和转换数据。常见的DStream操作包括map、reduceByKey、join等，这些操作会在数据流中应用到每个微批数据上。

在Spark Streaing中有一个最基本的抽象叫DStream（代理），本质上就是一系列连续的RDD，DStream其实就是对RDD的封装。

DStream可以任务是一个RDD的工厂，该DStream里面生产都是相同业务逻辑的RDD，只不过是RDD里面要读取数据的不相同

深入理解DStream：他是sparkStreaming中的一个最基本的抽象，代表了一下列连续的数据流，本质上是一系列连续的RDD，你对DStream进行操作，就是对RDD进行操作

DStream每隔一段时间生成一个RDD，你对DStream进行操作，本质上是对里面的对应时间的RDD进行操作

DSteam和DStream之间存在依赖关系，在一个固定的时间点，对个存在依赖关系的DSrteam对应的RDD也存在依赖关系，
每个一个固定的时间，其实生产了一个小的DAG，周期性的将生成的小DAG提交到集群中运行。

四、文件流操作

Spark Streaming支持从文件系统中读取流数据，这在一些场景中非常有用。你可以使用fileStream方法来创建一个DStream，然后指定文件夹路径和文件过滤器，以便从该文件夹中获取数据。

wordcount实例

object FileWordCount {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setMaster("local[2]")
      .setAppName("FileWordCount")

    // 按照时间间隔为3秒钟切分数据流
    val ssc = new StreamingContext(conf, Seconds(3))
    // 创建行分段流，接收文件流
    val lines = ssc.textFileStream("file:///user/local/logfile")
    // 生成单词分段流
    val words = lines.flatMap(_.split(" "))
    // 计算每一批次中的每个单词数量，并进行词频统计
    val wc = words.map(x=>(x,1)).reduceByKey(_+_)
    // 输出分段流中每个RDD的词频统计结果
    wc.print()

    // 开始计算
    ssc.start()
    // 等待计算结束
    ssc.awaitTermination()
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

创建StreamingContext对象

五、套接字流

套接字流是通过套接字连接来接收数据流的一种方式。你可以使用socketTextStream方法创建一个套接字DStream，指定主机和端口。

from pyspark.streaming import StreamingContext

ssc = StreamingContext(sparkContext, batchDuration)
lines = ssc.socketTextStream("localhost", 9999)
1
2
3
4

你可以在套接字流上执行与文件流相同的操作，例如map、reduceByKey等。

六、实时处理示例

下面是一个使用Spark Streaming进行简单实时处理的示例：

from pyspark.streaming import StreamingContext

ssc = StreamingContext(sparkContext, 1)  # 创建StreamingContext，批处理间隔为1秒
lines = ssc.socketTextStream("localhost", 9999)  # 创建套接字流

# 对DStream进行转换和操作
wordCounts = lines.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)

wordCounts.pprint()  # 打印每批次的结果

ssc.start()  # 启动流处理
ssc.awaitTermination()  # 等待流处理终止
1
2
3
4
5
6
7
8
9
10
11
12

这个示例从套接字流接收数据，对数据进行分词、计数，并打印每批次的结果。

Spark Streaming是一个功能强大的流处理引擎，它可以用于实时数据分析、监控、实时报警等各种实时应用。希望本文能够帮助你了解Spark Streaming的基础概念和使用方式。