Spark调试_spark 调试

作者：知新_RL | 2024-06-25 18:12:27

踩

spark 调试

一、本地调试

step1:写好程序，将master设置为local或者local[n]或者local[*]。
step2:如果应到HDFS，可能会遇到winuntils找不到的问题，需要将HADOOP_HOME环境加入IDEA。
方法1：下载对应hadoop-common-bin-2.7.3-x64.rar对应版本文件，解压到磁盘，在本机环境中添加。
方法2：下载对应hadoop-common-bin-2.7.3-x64.rar对应版本文件，解压到磁盘，在IDEA添加。
在这里插入图片描述

在这里插入图片描述

添加对应文件的bin目录即可。

二、远程调试

其原理就是将IDEA作为Driver，因此jar包还是需要打的。
在这里插入图片描述
在配置中加入setJars(List(Jar_PATH))，以及setIfMissing(“spark.driver.host”,本机IP)
获取方式：cmd中输入ifconfig，本机和集群是同一网段。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/757010