赞
踩
hive on spark 错误Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.
表明Spark任务执行失败,返回了错误代码3。这可能是由于多种原因导致的,例如内存不足、JSON数据格式错误、缺少JSON Serde等。
还有一些其他可能的原因,例如内存不足、Hive配置参数等。可以尝试调整Hive on Spark的相关配置参数,例如mapred.map.child.java.opts和mapred.reduce.child.java.opts,以及hive.auto.convert.join等参数,来解决内存不足的问题。
最后,建议查看Spark任务的详细日志,以获取更多关于作业失败的具体原因。可以通过Spark History Server或YARN Resource Manager UI来查看作业的详细日志,以便更好地定位和解决问题。
set mapred.map.tasks.speculative.execution=true
set mapred.reduce.tasks.speculative.execution=true
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。