赞
踩
远程调试spark其实就四步:
-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8787
这里对上面的几个参数进行说明:
第一步 将jar包拷贝到集群
第二步 配置idea
第三步 远端启动spark项目
spark2-submit --master yarn --deploy-mode cluster --num-executors 3 --executor-memory 3G --executor-cores 3 --driver-memory 5G --conf spark.default.parallelism=100 --conf spark.storage.memoryFraction=0.4 --conf spark.shuffle.memoryFraction=0.3 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8787" --class com.wonders.Hbase.Data.OrderInfo --name ORDER_INFO /home/jars/test_jar/oldtestHbase/hsbp-esearch-hbase-solr-1.0-SNAPSHOT.jar "2019-01-01" "2019-03-31"
第四步 启动idea
启动idea 的debug 模式就会进入断点。
如何一直不进入断点或者显示连接失败的话操作如下
通过CDH进入yarn的应用程序界面
然后点击进入该程序的详细信息界面,如下图就可以知道Applicationmaster在哪台NodeManager上:
之后在IDEA中修改此任务的IP即可进入
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。