Spark Exception in thread “main“ java.lang.IllegalArgumentException: Illegal pattern component_spark报exception in thread "main" java.lang.illegal

• 未完成任务： 问题原因并没有很好的理解。

问题现象

在windows上执行导出文件时，调用spark.read.json/text的时报错。

peopleDF.write
    .format("json")
	.mode("overwrite")
	.save("out/json")
1
2
3
4

问题原因

引用： https://blog.csdn.net/lds_include/article/details/89329139

maven升级的时候，没有自动加载完整依赖包，jsonAPI对于timeStampFormat有特殊需求，默认为下面这个格式这种格式，是无法被scala-lang包识别的。我们看报错的源码可以看出。

以下图片转载的：

修改的方法

增加option选项修改默认的timeStampFormat，代码如下

peopleDF.write
    .option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ")
    .format("json")
	.mode("overwrite")
	.save("out/json")
1
2
3
4
5