这个屌丝很懒，什么也没留下！

spark任务结束时timeout问题_spark time out

作者：盐析白兔 | 2024-07-19 19:49:10

spark time out

先上错误图
在这里插入图片描述
这个错误是由一个临时导出需求产生的，任务需要读取两个大表进行join操作，所以耗费的时间也比较多，在Spark任务结束时产生了上图的异常。

这个任务其实在底层已经成功运行并输出结果了，且任务结果文件已经成功写入到HDFS中，根据网上所说将spark的net timeout配置，任务等待时长配置修改均无效。

解决方法 1:
在应用程序结尾显示调用

sparkContext.stop()
1

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】