Spark SQL数据源 - 基本操作

Spark SQL 提供了丰富的API来与各种数据源进行交互，包括Parquet、JSON、CSV、JDBC等。以下是一些使用Spark SQL与数据源进行基本操作的基本步骤和示例代码。

1. 初始化SparkSession

首先，你需要初始化一个SparkSession对象，这是Spark SQL的入口点。

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Spark SQL Basic Operations")
  .master("local[*]") // 在本地运行，使用所有可用的核心
  .getOrCreate()

// 导入隐式转换，以便可以直接使用DataFrame的API
import spark.implicits._
1
2
3
4
5
6
7
8
9

2. 读取数据源

读取Parquet文件

val parquetDF = spark.read.parquet("path/to/your/people.parquet")
parquetDF.show()
parquetDF.printSchema()
1
2
3

读取JSON文件

val jsonDF = spark.read.json("path/to/your/people.json")
jsonDF.show()
jsonDF.printSchema()
1
2
3

读取CSV文件

val csvDF = spark.read
  .option("header", "true") // 如果CSV文件包含标题行
  .option("inferSchema", "true") // 自动推断列的数据类型
  .csv("path/to/your/people.csv")
csvDF.show()
csvDF.printSchema()
1
2
3
4
5
6

3. 处理DataFrame

选择列

val selectedDF = parquetDF.select("name", "age")
selectedDF.show()
1
2

过滤数据

val filteredDF = parquetDF.filter($"age" > 20)
filteredDF.show()
1
2

分组并聚合

val groupedDF = parquetDF.groupBy("age").count()
groupedDF.show()
1
2

排序数据

val sortedDF = parquetDF.orderBy($"age".asc)
sortedDF.show()
1
2

连接DataFrame

假设你有两个DataFrame，df1和df2，它们都有一个共同的列id，你可以使用join函数将它们连接起来。

val joinedDF = df1.join(df2, df1("id") === df2("id"))
joinedDF.show()
1
2

4. 将DataFrame写入数据源

写入Parquet文件

parquetDF.write.parquet("path/to/output/people.parquet")
1

写入CSV文件

parquetDF.write
  .option("header", "true")
  .csv("path/to/output/people.csv")
1
2
3

写入JSON文件

虽然Spark不直接支持将DataFrame写入单个JSON文件，但你可以将数据写入到一个JSON文件夹中，每个分区的数据会写入到一个单独的JSON文件中。

parquetDF.write.json("path/to/output/people.json")
1

5. 停止SparkSession

完成所有操作后，确保停止SparkSession以释放资源。

spark.stop()
1

这些示例展示了Spark SQL与数据源进行交互的基本操作。你可以根据自己的需求进一步扩展这些示例，使用更复杂的查询和转换来处理数据。