dataframe保存为csv_sparkSQL_DataFrame

作者：凡人多烦事01 | 2024-05-22 17:38:45

踩

dataframe.write csv option

进入spark安装目录：/data0/spark/spark-2.2.1-bin/bin ,执行以下shell命令：

./spark-shell --master local[2] --jars /data0/spark/spark-2.2.1-bin/jars/mysql-connector-java-5.1.15-bin.jar

val df=spark.read.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ").json("file:///data0/project/person.json")

保存到person2.csv目录


保存到person2.csv目录
 pDF.select("name","age").write.format("csv").option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ").save("file:///data0/project/person2.csv")

Schema和RDD生成DataFrame

===============对比两种方式

参见：

spark-shell & spark-sql 使用blog.csdn.net

Spark学习之路（十八）SparkSQL简单使用www.cnblogs.com

Spark SQL & DataFramesspark.apache.org

Spark SQL, Built-in Functionsspark.apache.org Spark SQL and DataFramesspark.apache.org

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/609234