利用spark将parquet文件转存储为CSV文件_spark 读取parquet 转成csv

作者：不正经 | 2024-05-01 00:25:50

踩

spark 读取parquet 转成csv


from pyspark import SparkConf
from pyspark.sql import SparkSession
 
#创建spark会话
spark = SparkSession.builder.getOrCreate()
parquetfile='parquet_file_name.parquet'
 
df=spark.read.parquet(curfile) #读取parquet文件
 
# df.printSchema()
#显示第一行
# print(df.first())
 
df.write.option("header",True) .csv("jupyter_workspace/data/20220831")
 
 
#参考 https://sparkbyexamples.com/pyspark/pyspark-write-dataframe-to-csv-file/

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/516030