spark任务结束时timeout问题_spark time out

作者：盐析白兔 | 2024-07-19 19:49:10

踩

spark time out

先上错误图
在这里插入图片描述
这个错误是由一个临时导出需求产生的，任务需要读取两个大表进行join操作，所以耗费的时间也比较多，在Spark任务结束时产生了上图的异常。

这个任务其实在底层已经成功运行并输出结果了，且任务结果文件已经成功写入到HDFS中，根据网上所说将spark的net timeout配置，任务等待时长配置修改均无效。

解决方法 1:
在应用程序结尾显示调用

sparkContext.stop()
1

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/853212?site