SparkSQL数据源_sparksql 数据源

作者：你好赵伟 | 2024-05-16 17:10:01

踩

sparksql 数据源

第1关：SparkSQL加载和保存

任务描述
本关任务：编写一个SparkSQL程序，完成加载和保存数据。

相关知识
为了完成本关任务，你需要掌握：

加载数据

直接在文件上运行SQL

保存到路径

保存模式介绍

保存到持久表

存储和排序或分区

加载数据
DataFrameReader用于从外部存储系统（例如文件系统，键值存储等）加载数据集的接口。使用SparkSession.read来访问它。

DataFrameReader提供了（json，parquet，jdbc，orc，libsvm，csv，text）格式支持，DataFrameReader.load(String… paths)方法支持多个路径的数据源，默认使用parquet格式（除非另有配置，spark.sql.sources.default）用于所有操作

package com.educoder.bigData.sparksql2;

import org.apache.spark1
2

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/579727