Spark相关配置项_spark-defaults.conf

作者：繁依Fanyi0 | 2024-05-31 16:49:45

踩

spark-defaults.conf

1、启动方式:
本地模式:spark-shell后面不用写任何参数
集群模式:

spark-shell --master spark://master:7077
{SPARK_HOME}/conf目录下spark-defaults.conf,若没有,cp spark-defaults.conf.templete spark-defaults.conf 添加spark.master spark://master:7077,之后在命令行输入spark-shell不带参数,启动的也是集群模式

2、若是集群模式,master的端口7077一定要打开
3、web页面,本地模式下,启动spark-shell后8080端口页面不会有任何显示
集群模式下,8080web端口会有一个running applications

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/653270