spark 运行问题总结

作者：Gausst松鼠会 | 2024-05-14 18:00:43

踩

spark 运行问题总结

Exception in thread “main” org.apache.spark.SparkException: A master URL must be set in your configuration

解决：edit configurations -> vm options -> 填写 “-Dspark.master=loca”
这里写图片描述

ERROR Shell: Failed to locate the winutils binary in the hadoop binary path

解决：下载winutils的windows版本，增加系统变量HADOOP_HOM，在path里增加$HADOOP_HOME\bin

Exception in thread “main” org.apache.hadoop. mapred.FileAlreadyExistsException: Output directory xxx already exists

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/569420